混合精度训练 FP16、BF16 有什么区别？

安逸Ai2026/7/16大约 18 分钟大模型100讲训练原理

混合精度训练 FP16、BF16 有什么区别？

一句话核心：FP16 和 BF16 都是 16 位浮点数，但 FP16 精度高、范围小，BF16 精度低、范围大。在大模型训练中，BF16 因其接近 FP32 的数值范围而成为首选格式，FP16 则需要配合损失缩放（Loss Scaling）才能稳定训练。

核心概念（术语表）

IEEE 754：国际标准化组织定义的浮点数存储标准，由符号位（S）、指数位（E）、尾数位（M）三部分组成，是 FP16、BF16、FP32 等所有浮点格式的基础规范
FP16（Half Precision）：16 位半精度浮点格式，1 位符号 + 5 位指数 + 10 位尾数，指数偏移值 15，适用于 NVIDIA Volta+ GPU
BF16（Brain Float16）：Google 为 TPU 设计的 16 位脑浮点格式，1 位符号 + 8 位指数 + 7 位尾数，指数偏移值 127，适用于 NVIDIA Ampere+ GPU 和 TPU v3+
混合精度训练（Mixed Precision Training）：一种同时使用多种精度进行模型训练的技术，通常用 FP16/BF16 做前向反向计算，FP32 做权重更新
Loss Scaling（损失缩放）：反向传播前将损失值扩大一定倍数（如 128 倍），使小梯度值落入 FP16 可表达范围，防止下溢为 0
溢出（Overflow）：计算结果超出浮点格式能表示的最大值，FP16 溢出阈值约为 ±65504，超出后变为 inf 或 NaN
下溢（Underflow）：计算结果小于浮点格式能表示的最小正数，FP16 下溢阈值约为 ±6.1×10^-5，被舍入为 0 导致梯度消失
TF32（Tensor Float-32）：NVIDIA 在 Ampere 架构定义的格式，8 位指数（与 FP32/BF16 相同）+ 10 位尾数（与 FP16 相同）
指数位（Exponent）：决定浮点数表示范围的位数，位数越多范围越大
尾数位（Mantissa/Fraction）：决定浮点数精度的位数，位数越多精度越高

阅读全文

历史背景 / 来源

FP16 的演进：FP16 最早作为计算机图形学和早期深度学习框架的存储格式使用，2017 年 NVIDIA 正式提出混合精度训练技术，将 FP16 引入大规模模型训练领域。

BF16 的诞生：2018 年 Google 为其 TPU（张量处理单元）专门设计了 Brain Float 16 格式，核心思路是牺牲部分精度换取更大的数值范围，因为深度学习训练对范围的需求远高于对精度的需求。

TF32 的出现：2020 年 NVIDIA 在 Ampere 架构白皮书中定义了 TF32 格式，融合了 BF16 的指数位和 FP16 的尾数位，针对 GPU 计算进行了优化。

工作原理 / 核心机制

整体思路

FP16 和 BF16 的本质区别在于如何分配 16 位的结构：FP16 用更多位数表示尾数（10 bits）换取高精度但牺牲范围，BF16 用更多位数表示指数（8 bits）换取大范围但牺牲精度。在深度学习训练中，范围的稳定性比精度更重要，因此 BF16 成为大模型训练的主流选择。

混合精度训练的 5 步流程

第一步：权重初始化为 FP32，转为 FP16/BF16

输入：FP32 格式的模型权重（通常占用 32MB/1B 参数）
处理：通过类型转换函数将权重转为 FP16 或 BF16（占用减半至 16MB/1B 参数）
输出：FP16/BF16 格式的前向计算用权重副本
数字：存储空间减少 50%，从 32MB 降至 16MB（以 1B 参数模型为例）

第二步：使用 FP16/BF16 进行前向传播和反向传播

输入：FP16/BF16 格式的输入数据、权重、激活值
处理：在 Tensor Core 上执行矩阵乘法和卷积运算
输出：FP16/BF16 格式的梯度和损失值
数字：计算速度提升约 2-3 倍（相比 FP32），Ampere 架构下 BF16 计算吞吐量最高

第三步：将梯度从 FP16/BF16 转回 FP32

输入：FP16/BF16 格式的梯度张量
处理：显式类型转换，将梯度扩展为 32 位精度
输出：FP32 格式的梯度（避免精度损失累积）
关键：此步骤防止 16 位梯度累积误差影响权重更新

第四步：使用 FP32 精度进行梯度更新

输入：FP32 梯度 × 学习率（learning rate）
处理：优化器（如 Adam、SGD）在 FP32 下执行权重更新
输出：FP32 格式的新权重
原因：梯度乘学习率后数值较小，FP16 精度不足以精确更新

第五步：循环迭代

下一轮 iteration 重复第一步，将更新后的 FP32 权重转为 FP16/BF16
循环直到收敛或达到预设 epoch 数

FP16 的 Loss Scaling 机制

为什么需要 Loss Scaling：FP16 的最小正数约为 6.1×10^-5，训练初期的梯度可能远小于此值，导致下溢为 0。

具体操作：

反向传播前：将损失值乘以缩放因子 S（通常为 2^n，如 8、16、32、128、256、512、1024）
反向传播中：梯度同样被放大 S 倍
反向传播后：将梯度除以 S 还原真实值
缩放因子选择：需通过实验调优，过小无法防止下溢，过大可能导致溢出

关键知识点

FP16 数值范围：±6.1×10^-5 到 ±65504，仅 5 位指数位导致范围极小
BF16 数值范围：±1.2×10^-38 到 ±3.4×10^38，与 FP32 完全一致，8 位指数与 FP32 相同
FP16 精度：10 位尾数，约 3-4 位十进制小数精度
BF16 精度：7 位尾数，约 2-3 位十进制小数精度
FP16 溢出风险：当梯度或激活值超过 65504 时变为 inf/NaN，训练崩溃
FP16 下溢风险：梯度小于 6.1×10^-5 时变为 0，权重无法更新
BF16 几乎不溢出：数值范围与 FP32 一致，溢出概率从 10^-3 降至接近 0
BF16 精度足够：模型训练本质是带噪声的优化过程，2-3 位精度完全满足收敛需求
混合精度节省内存：相比 FP32，存储空间减少 50%，同等 GPU 可训练更大模型或更大 batch size
混合精度加速：Tensor Core 对 16 位计算有专门优化，Ampere 架构 BF16 计算效率最高
FP16 需要 Loss Scaling：约 90% 的场景需要配合缩放因子才能稳定训练
BF16 不需要 Loss Scaling：范围足够大，直接使用即可稳定训练
硬件支持差异：FP16 从 Volta 架构（V100）开始支持，BF16 从 Ampere 架构（A100）开始支持
NVIDIA TF32：8 位指数 + 10 位尾数，专为 Ampere+ GPU 设计，兼容性好

应用场景

场景 1：GPT-3/ChatGPT 等大语言模型训练：OpenAI、Meta 等公司使用 BF16 训练数百亿至万亿参数模型，避免 FP16 的溢出问题。175B 参数的 GPT-3 使用 BF16 训练数月，稳定性是关键考量。
场景 2：Stable Diffusion 等多模态模型：Stability AI 使用混合精度训练，A100 GPU 上 BF16 吞吐量比 FP16 高 15-20%，显存占用相同，训练时间缩短。
场景 3：BERT 等 Transformer 模型微调：DistilBERT 实验显示，混合精度训练时间为 FP32 的 1/3，存储介于 FP16 和 FP32 之间，预测准确率与 FP32 相当。
场景 4：Google TPU 训练：Google TPU v3+ 原生支持 BF16，所有 TPU 训练默认使用 BF16，与 GPU 上的 BF16 实现互通。
场景 5：NVIDIA 新一代 GPU 推理：H100 GPU 对 BF16 有专门优化，推理吞吐量比 A100 提升 2-3 倍，大模型部署首选 BF16。

常见误区 / 踩坑

❌ 误区 1：BF16 比 FP16 更精确
✅ 正解：BF16 实际精度更低（7 位尾数 vs 10 位尾数），但范围更大。在训练中范围比精度更重要，因此 BF16 训练更稳定。
❌ 误区 2：FP16 已经足够好了，不需要 BF16
✅ 正解：对于小模型（<1B 参数）和短训练周期，FP16 确实可用。但对于大模型和长训练周期，FP16 的溢出/下溢问题会导致训练不稳定甚至失败。
❌ 误区 3：混合精度就是全程用 FP16
✅ 正解：真正的混合精度是 FP16/BF16 做计算，FP32 做权重更新。如果全程 FP16，权重累积误差会导致模型收敛异常。
❌ 误区 4：Loss Scaling 随便选一个值就行
✅ 正解：缩放因子需要动态调整，训练初期梯度小可用大因子（如 1024），后期梯度变大需减小因子。静态因子可能导致溢出。
❌ 误区 5：BF16 是 FP16 的升级版，完全替代
✅ 正解：BF16 和 FP16 各有适用场景。FP16 在 NVIDIA Volta/Turing 架构上是唯一选择，BF16 需要 Ampere+ 架构。
❌ 误区 6：数值精度越高模型效果越好
✅ 正解：深度学习训练本身就是带噪声的优化，FP16/BF16 的精度完全足够。过度追求精度不仅浪费计算资源，还可能因范围不足导致问题。

性能 / 复杂度

时间复杂度：混合精度训练相比 FP32 加速约 2-3 倍，主要受益于 Tensor Core 的 16 位矩阵乘法加速
空间复杂度：存储需求减少约 50%，1B 参数模型从 4GB（FP32）降至 2GB（FP16/BF16）
与 FP32 对比：混合精度训练时间为 FP32 的 33%（快 3 倍），存储为 FP32 的 50-66%
FP16 vs BF16 性能：Ampere 架构下 BF16 吞吐量略高于 FP16（约高 5-15%），因 BF16 与 Tensor Core 原生格式更匹配

性能数字对比（基于 A100 GPU）：

FP32 训练：100% 时间，100% 显存
FP16 混合精度：33% 时间，50% 显存
BF16 混合精度：30-35% 时间，50% 显存
推理加速：BF16 比 FP16 快 10-20%，比 FP32 快 5-8 倍

与相关概念的区别

FP16 vs BF16

维度 1（数值范围）：FP16 范围小（±65504），BF16 范围大（与 FP32 一致），BF16 胜出
维度 2（精度）：FP16 精度高（10 位尾数），BF16 精度低（7 位尾数），FP16 胜出
维度 3（训练稳定性）：FP16 易溢出/下溢需 Loss Scaling，BF16 稳定性高无需额外处理，BF16 胜出
维度 4（硬件支持）：FP16 支持更广（Volta+），BF16 需要 Ampere+，FP16 胜出
怎么选：大模型训练（>1B 参数）优先选 BF16，小模型或旧硬件选 FP16

混合精度 vs 全精度训练

维度 1（速度）：混合精度快 2-3 倍，全精度慢
维度 2（显存）：混合精度节省 50%，全精度占用大
维度 3（精度损失）：混合精度几乎无影响，全精度无损失
怎么选：生产训练用混合精度，科研对比实验可用全精度

BF16 vs TF32

维度 1（指数位）：BF16 8 位，TF32 8 位，平手
维度 2（尾数位）：BF16 7 位，TF32 10 位，TF32 精度略高
维度 3（硬件原生支持）：TF32 在 Ampere+ GPU 上有专门优化，BF16 同样有优化但 TF32 兼容性更好
怎么选：NVIDIA GPU 训练优先 TF32，TPU 训练用 BF16

进阶 / 面试加分项

最新进展：NVIDIA Hopper 架构（H100）引入 FP8 格式（E4M3 和 E5M2），进一步减少显存占用和加速大模型训练。FP8 的范围和精度比 BF16 更小，但 H100 的专门优化使其计算效率极高。
业界争议：是否应该放弃 FP16 全面转向 BF16？老一代 GPU（V100、Titan V）不支持 BF16，FP16 仍有存续价值。同时 FP8 的出现可能改变未来格局。
一句话送候选人：面试中能说清楚"FP16 范围小需要 Loss Scaling，BF16 范围大直接可用"这个核心区别，就能让面试官刮目相看。

格式对比速查表

格式	总位数	符号位	指数位	尾数位	偏移值	数值范围	十进制精度
FP16	16	1	5	10	15	±65504	3-4 位
BF16	16	1	8	7	127	同 FP32	2-3 位
FP32	32	1	8	23	127	同 BF16	7-8 位
TF32	19	1	8	10	127	同 FP32	3-4 位

面试高频追问方向

追问 1：如果梯度是 10^-6 量级，用 FP16 训练会发生什么？
追问 2：BF16 精度更低，为什么大模型训练反而更倾向用它？
追问 3：混合精度训练中，权重更新为什么必须用 FP32？
追问 4：Loss Scaling 的缩放因子如何选择？有什么技巧？
追问 5：为什么 NVIDIA 不直接用 BF16 的精度而设计了 TF32？

面试如何回答

🟡 请解释 FP16 和 BF16 的核心区别，以及为什么大模型训练更倾向于使用 BF16？

回答要点：

FP16 和 BF16 都是 16 位浮点数，但位分配策略不同：FP16 用 5 位指数 + 10 位尾数，追求高精度但范围小（±65504）；BF16 用 8 位指数 + 7 位尾数，牺牲精度但范围大（与 FP32 一致）。

大模型训练更倾向 BF16 的核心原因是：深度学习训练中，梯度、激活值等张量的范围波动极大，FP16 的 5 位指数很容易发生上溢出（>65504 变为 NaN）和下溢出（<6e-5 变为 0），需要复杂的 Loss Scaling 策略才能稳定训练。而 BF16 的 8 位指数与 FP32 完全一致，数值范围从 10^-38 到 10^38，几乎不会发生溢出问题。

实际场景举例：175B 参数的 GPT-3 使用 BF16 训练数月未出现溢出崩溃，如果用 FP16 则需要不断调整 Loss Scaling 因子，训练稳定性差。

一句话总结：BF16 用范围换稳定，FP16 用精度换范围，大模型训练宁可牺牲一点精度也要保证范围稳定。

🟡 什么是混合精度训练？请描述其具体流程。

回答要点：

混合精度训练是一种同时使用多种精度进行模型训练的技术，通过在不同计算阶段使用不同精度的浮点数，实现速度、显存、稳定性三者的平衡。

具体流程分为 5 步：

第一步：权重初始化为 FP32，通过类型转换转为 FP16 或 BF16 用于计算，1B 参数模型从 4GB 降至 2GB。

第二步：使用 FP16/BF16 进行前向传播和反向传播，在 Tensor Core 上执行矩阵运算，计算速度提升 2-3 倍。

第三步：将梯度显式转回 FP32，防止 16 位精度累积误差影响权重更新。

第四步：使用 FP32 精度的梯度和学习率进行权重更新，因为梯度乘学习率后数值较小，FP16 精度不足以精确更新。

第五步：循环迭代，直到收敛。

真实案例：DistilBERT 混合精度训练时间为 FP32 的 1/3，显存占用介于 FP16 和 FP32 之间，预测准确率与 FP32 相当。

关键点：混合精度不是全程用低精度，而是"低精度计算 + 高精度更新"的组合。

🟡 FP16 训练中为什么要使用 Loss Scaling？如何选择缩放因子？

回答要点：

FP16 训练中使用 Loss Scaling 的根本原因是防止梯度下溢。FP16 的最小正数约为 6.1×10^-5，而训练初期的梯度往往远小于此值，会被舍入为 0，导致权重无法更新，训练停滞。

Loss Scaling 的具体机制：反向传播前将损失值乘以缩放因子 S（如 128、256、1024），梯度同样被放大 S 倍，使其落入 FP16 可表达范围；反向传播后再将梯度除以 S 还原真实值。

缩放因子选择技巧：

渐进式调整：训练初期梯度小用大因子（如 1024），后期梯度变大需减小因子（如 32）。
动态检测：如果某 iteration 出现 NaN/Inf，说明因子过大导致溢出，需减小；如果 loss 不下降且无 NaN，可尝试增大因子。
常用值：2^n 序列（8、16、32、64、128、256、512、1024、2048）。

实际案例：NVIDIA 官方建议从 128 开始尝试，如果 loss 为 NaN 则减半，如果 loss 不下降则加倍。

重要提示：BF16 不需要 Loss Scaling，因为其数值范围足够大，不会发生下溢。

🟢 简述 IEEE 754 标准中浮点数的结构，以及 FP16 和 BF16 在位分配上的差异。

回答要点：

IEEE 754 是浮点数存储的国际标准，所有浮点格式都由三部分组成：

符号位（Sign，S）：1 位，0 表示正数，1 表示负数。
指数位（Exponent，E）：决定数值范围，位数越多范围越大。
尾数位（Mantissa/Fraction，M）：决定数值精度，位数越多精度越高。

FP16 和 BF16 的位分配差异：

格式	符号位	指数位	尾数位	偏移值
FP16	1	5	10	15
BF16	1	8	7	127

FP16 的 5 位指数能表示 2^5=32 种指数值，范围为 2^-14 到 2^15，约 ±65504。

BF16 的 8 位指数与 FP32 完全一致，能表示 2^8=256 种指数值，范围为 2^-126 到 2^127，与 FP32 相同。

类比理解：如果把浮点数比作书架，指数位决定书架层数，尾数位决定每层能放多少本书。FP16 是"5 层 × 10 本"，层数少但每层精确；BF16 是"8 层 × 7 本"，层数多但每层粗糙一些。

面试加分：提到偏移值（Bias）的概念，FP16 偏移 15，BF16 和 FP32 偏移 127，用于将指数从有符号转为无符号表示。

🟢 在什么场景下应该选择 FP16 而不是 BF16？请说明原因。

回答要点：

选择 FP16 而非 BF16 的场景主要有两类：

场景 1：硬件限制
FP16 从 NVIDIA Volta 架构（V100、Titan V）开始支持，而 BF16 需要 Ampere 架构（A100、RTX 30 系列及以上）或更新。如果使用的是 V100 或更老的 GPU，只能选择 FP16。

场景 2：精度敏感应用
FP16 的 10 位尾数比 BF16 的 7 位尾数精度更高（约 3-4 位小数 vs 2-3 位小数）。对于某些对精度敏感的任务（如科学计算、精确数值模拟），FP16 可能比 BF16 更合适。不过这种情况较少，因为深度学习训练本身是带噪声的优化过程。

实际选择建议：

V100 GPU：只能用 FP16
A100 及更新：优先 BF16
TPU v3+：只能用 BF16
追求最高精度：FP16 + Loss Scaling
追求稳定性：BF16
追求兼容性：TF32

一句话总结：硬件支持是硬约束，精度需求是软约束，在支持 BF16 的硬件上大模型训练首选 BF16。

🔴 如果训练过程中发现 loss 突然变为 NaN，分析可能的原因以及排查思路。

回答要点：

Loss 变为 NaN 是混合精度训练中的常见问题，可能原因及排查思路：

原因 1：梯度爆炸（Gradient Explosion）
梯度值过大，超过了当前精度的表示范围（FP16 阈值约 65504）。
排查：检查梯度 norm，如果 >1000 说明梯度爆炸。
解决：降低学习率（通常 1e-4 降至 1e-5），增加梯度裁剪（gradient clipping，max_norm=1.0）。

原因 2：Loss Scaling 因子过大
缩放因子 S 过大导致计算中间值溢出。
排查：将 S 从 1024 逐步降至 64，观察是否还有 NaN。
解决：使用动态 Loss Scaling，发现 NaN 后减半因子。

原因 3：数值不稳定操作
某些操作（如 log(0)、除以 0）在低精度下更容易产生 NaN。
排查：检查是否有 log、sqrt、division 等操作。
解决：添加数值稳定化（如 log(x+eps)）。

原因 4：学习率过大
更新步长过大导致权重溢出。
排查：检查权重更新前后是否变化剧烈。
解决：使用 learning rate warmup 或降低学习率。

实际案例：BERT 训练初期常出现 NaN，通过 warmup（从 1e-7 逐渐增加到 1e-4）解决。

排查顺序建议：先检查梯度 → 再降低学习率 → 然后调整 Loss Scaling → 最后检查数值操作。

🟡 TF32 和 BF16 有什么区别？NVIDIA 为什么引入 TF32？

回答要点：

TF32（Tensor Float-32）是 NVIDIA 在 Ampere 架构中定义的格式，本质上是 FP16 和 BF16 的"杂交"：

格式	符号位	指数位	尾数位
BF16	1	8	7
TF32	1	8	10

TF32 借用 BF16 的 8 位指数（与 FP32 一致），借用 FP16 的 10 位尾数，精度介于两者之间。

NVIDIA 引入 TF32 的原因：

硬件原生支持：Ampere 架构的 Tensor Core 对 TF32 有专门优化，无需软件层面的格式转换，可直接以 TF32 进行计算。
兼容性好：TF32 的范围与 FP32 完全一致，精度比 FP32 低但远高于 FP16，现有 FP32 代码几乎无需修改即可享受加速。
实际性能：TF32 计算吞吐量比 FP16 高 5-15%，因为减少了格式转换开销。

使用建议：

NVIDIA GPU 训练：TF32 是最佳选择
TPU 训练：必须用 BF16
跨平台部署：需要统一到 BF16 或 FP16

一句话总结：TF32 是 NVIDIA 的"特供版"格式，兼顾范围和精度，在 Ampere+ GPU 上性能最优。

🟡 混合精度训练相比全 FP32 训练有什么优势和潜在风险？

回答要点：

混合精度训练的优势：

训练速度提升 2-3 倍：Tensor Core 对 16 位矩阵乘法有专门优化，Ampere 架构 BF16 计算效率最高。
显存节省约 50%：1B 参数模型从 4GB（FP32）降至 2GB（FP16/BF16），同等 GPU 可训练更大模型或使用更大 batch size。
训练效果与 FP32 相当：混合精度使用 FP32 做权重更新，精度损失几乎可以忽略。DistilBERT 实验显示准确率与 FP32 一致甚至更高（可能因为正则化效应）。

潜在风险及应对：

训练不稳定（FP16）：需配合 Loss Scaling，增加调试复杂度。
梯度下溢/上溢：监控梯度 norm，设置梯度裁剪。
数值精度累积误差：长期训练可能累积误差，但实践中影响不大。
硬件兼容性：需要 Tensor Core 支持，老旧 GPU 无法使用。

实际应用：GPT-3、BERT、Stable Diffusion 等几乎所有主流模型都使用混合精度训练，已成为工业界标准实践。

一句话总结：混合精度训练的优势巨大（速度+显存），风险可控，是大模型训练的必选项。