知识卡片
FP8与INT8怎么选
训练默认用 fp32,换成 8 位能省显存、提高张量核吞吐。但 8 位有两条互不相同的路线。
FP8(浮点):少量位给指数、其余给尾数,动态范围大,能容纳训练中跨数量级的激活与梯度,可直接用于训练。INT8(定点):区间内均匀量化,硬件更省电省面积(乘加所需的双输入门更少),适合推理与权重量化。
怎么选:取决于被量化值的分布。分布均匀、没有明显离群值时 INT 更准;分布集中在零附近、带长尾离群值时 FP 更合适。实践中每层最佳格式常是带 2 到 3 个指数位的混合格式,而不是纯 FP8 或纯 INT8;若 INT8 更贴合权重分布,量化感知训练后从 FP8 转 INT8 反而更好。
FP8 训练的前提:尺度要可控。单位缩放让权重、激活、梯度都保持单位方差,用固定的逐算子缩放因子代替动态损失缩放,无需反复试跑找范围,在 BERT 规模上已能接近 fp16 的效果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
但是,格式的选择取决于要量化的值的分布,INT是编码区间内均匀分布的理想选择,而FP是将更多质量集中在0附近并允许异常值的理想选择。因此,产生较少量化误差的格式会因量化模型及其使用方式而有所不同。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「但是,格式的选择取决于要量化的值的分布,INT是编码区间内均匀分布的…」为中心展开,本卡的核心判断「训练默认用 fp32,换成 8 位能省显存、提高张量核吞吐。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:但是,格式的选择取决于要量化的值的分布,INT是编码区间内均匀分布的理想选择,而FP是将更多质量集中在0附近并允许异常值的理想选择。因此,产生较少量化误差的格式会因量化模型及其使用方式而有所不同。