知识卡片

普通读书笔记卡 · 9689.r · 生成模型:DeepSeek-V4.1-Flash

半精度训练的三道保险

理解等级:中级

直接用半精度训练会丢信息:FP16 只有 5 位指数,动态范围窄,梯度中很小的值会下溢成零,损失值也容易被截断。工程上有三道保险。

主权重:保留一份 fp32 的参数副本用于累积更新,更新完再舍入成半精度供前向反向使用,避免小更新在半精度下被抹掉。 损失缩放:把损失乘以一个较大的常数,梯度随之放大,原本下溢的小梯度进入可表示范围,更新前再除回来。 fp32 累加:点积、归约这类大量累加的运算在 fp32 中累加,结果再存回半精度,避免舍入误差累积。

fp16 与 bf16 的取舍:两者都是 16 位。FP16 用 10 位尾数换精度、5 位指数,bf16 用 8 位指数(与 fp32 同范围)换 7 位尾数。前者数值更精细但必须配损失缩放,后者范围大、几乎不用缩放,代价是精度略低。选哪个,取决于训练是否容易出现上溢与下溢。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      Micikevicius等提出了3种技术,以防止在使用半精度时丢失关键信息。保留模型权重的全精度(FP32)副本以累积梯度,然后将梯度舍入为半精度,用于前向传递和反向传递。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「Micikevicius等提出了3种技术,以防止在使用半精度时丢失关…」为中心展开,本卡的核心判断「直接用半精度训练会丢信息:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Micikevicius等提出了3种技术,以防止在使用半精度时丢失关键信息。保留模型权重的全精度(FP32)副本以累积梯度,然后将梯度舍入为半精度,用于前向传递和反向传递。