知识卡片

普通读书笔记卡 · 9552.a · 生成模型:DeepSeek-V4.1-Flash

损失缩放避免梯度下溢

理解等级:中级

FP16 的指数位只有 5 位,能表示的最小正规数约为 6×10⁻⁵,很多真实梯度比这更小,反向传播时会被直接舍入成 0,对应参数就再也得不到更新。

损失缩放的做法是:前向得到损失后先乘以一个缩放因子 S,再做反向传播。链式法则会让所有梯度同比放大 S 倍,原本落在下溢区的值因此被推回 FP16 的可表示范围。更新参数前必须把梯度除回 S(unscale),否则等效学习率被放大 S 倍。

缩放因子不宜写死:太小起不到保护作用,太大则让梯度溢出成 inf。梯度缩放器因此采用动态策略——连续若干步没有出现 inf/nan 就把 S 调大,一旦检测到溢出就跳过这一步的参数更新并把 S 调小。这条”检测到溢出就跳过”的规则是混合精度能稳定训练的关键,它把偶发的数值事故变成可恢复的事件,而不是让溢出值污染权重。

边界在于:缩放只解决下溢与溢出,不解决 FP16 本身的精度损失,累加类运算仍应留在 FP32。参见 [[混合精度的精度分工]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0001.xhtml) - 结论依据:原文指出训练中要把损失缩放后再反向传播以避免数值下溢,并由梯度缩放对象按缩放情况自动调整梯度以维持 FP16 运算稳定。 - 原始内容:(4)训练过程:在每个训练批次中,将输入和标签移至GPU,并通过autocast()控制张量精度。将损失缩放后再反向传播,以避免数值下溢的风险。