知识卡片
半精度训练的三道保险
直接用半精度训练会丢信息:FP16 只有 5 位指数,动态范围窄,梯度中很小的值会下溢成零,损失值也容易被截断。工程上有三道保险。
主权重:保留一份 fp32 的参数副本用于累积更新,更新完再舍入成半精度供前向反向使用,避免小更新在半精度下被抹掉。 损失缩放:把损失乘以一个较大的常数,梯度随之放大,原本下溢的小梯度进入可表示范围,更新前再除回来。 fp32 累加:点积、归约这类大量累加的运算在 fp32 中累加,结果再存回半精度,避免舍入误差累积。
fp16 与 bf16 的取舍:两者都是 16 位。FP16 用 10 位尾数换精度、5 位指数,bf16 用 8 位指数(与 fp32 同范围)换 7 位尾数。前者数值更精细但必须配损失缩放,后者范围大、几乎不用缩放,代价是精度略低。选哪个,取决于训练是否容易出现上溢与下溢。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
Micikevicius等提出了3种技术,以防止在使用半精度时丢失关键信息。保留模型权重的全精度(FP32)副本以累积梯度,然后将梯度舍入为半精度,用于前向传递和反向传递。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「Micikevicius等提出了3种技术,以防止在使用半精度时丢失关…」为中心展开,本卡的核心判断「直接用半精度训练会丢信息:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Micikevicius等提出了3种技术,以防止在使用半精度时丢失关键信息。保留模型权重的全精度(FP32)副本以累积梯度,然后将梯度舍入为半精度,用于前向传递和反向传递。