← 返回刚才阅读的位置

知识卡片

结构图卡 · 9552 · 生成模型:DeepSeek-V4.1-Flash

混合精度的精度分工

理解等级:初级

混合精度训练是在一次训练过程中同时使用两种浮点精度:矩阵乘法、卷积这类占算力大头且对精度不敏感的运算交给 FP16,权重更新、梯度累积、损失计算等容易积累误差的环节保留 FP32。FP16 的位宽只有 FP32 的一半,显存占用与内存带宽压力随之下降,现代 GPU 对 FP16 还有专门的高吞吐通路,因此同一张卡能放下更大的批次或更大的模型。

代价是数值范围变窄:FP16 能表示的最小正规数远大于 FP32,接近零的梯度容易被舍入成 0。所以实践中不是把模型整体转成半精度,而是让框架按运算类型分别派发精度,并配合梯度缩放把微小的梯度抬回可表示区间。判断是否值得启用看两点:模型是否有大量矩阵运算,以及显存或带宽是否已成为瓶颈;若瓶颈在数据加载或算子本身不支持半精度,收益会明显缩小。

结构图:

flowchart LR
  A[FP32 主权重] --> B[前向计算转 FP16]
  B --> C[损失保持 FP32]
  C --> D[损失乘以缩放因子]
  D --> E[反向得到 FP16 梯度]
  E --> F[梯度除回缩放因子]
  F --> G[优化器更新 FP32 权重]
  G --> A
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型性能优化:混合精度训练与分布式训练 · 查看原书依据

      混合精度训练是在深度学习中通过半精度浮点(FP16)和全精度浮点(FP32)的结合来提升效率的计算方式。在模型训练过程中,不需要高精度的计算使用FP16来降低内存占用和加速计算,而在梯度累积等关键步骤中则保留FP32以确保计算的稳定性。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0001.xhtml) - 结论依据:原文说明混合精度以半精度与全精度结合提升效率,不需要高精度的计算用 FP16 降低内存占用与加速计算,关键步骤保留 FP32 保证稳定。 - 原始内容:混合精度训练是在深度学习中通过半精度浮点(FP16)和全精度浮点(FP32)的结合来提升效率的计算方式。在模型训练过程中,不需要高精度的计算使用FP16来降低内存占用和加速计算,而在梯度累积等关键步骤中则保留FP32以确保计算的稳定性。