知识卡片
8位优化器省显存
Adam 要为每个参数额外存一阶矩与二阶矩,用 fp32 存时状态量是参数量的两倍,成为显存大头。8 位优化器的做法是:状态仍保留全部参数,但每个数只用 8 位存。
难点:优化器状态的数值分布高度不均匀,少数极大值会把量化区间撑开,大量小值挤在同一个桶里,精度尽失。
解法是分块动态量化:把状态张量切成小块,每块独立算自己的缩放常数(如块内绝对最大值),块内按 8 位映射。这样极值只影响它所在的那一块,其余块仍保留细粒度;配合误差补偿把舍入误差带到下一步,可保持与 32 位接近的训练效果。
收益与边界:优化器状态显存约降为四分之一,模型越大、状态占比越高,收益越明显;代价是量化与反量化的额外计算和实现复杂度。它常与 ZeRO 叠加使用——先分片再降精度,两个维度正交。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
例如,Dettmers et al(2021)提出的一种方法使用8比特精度存储Adam优化器的统计数据,同时保持与使用32比特精度相同的整体性能。实现这一结果所采用的技术是按块动态量化,它能有效地处理大小元素。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「例如,Dettmers et al(2021)提出的一种方法使用8比…」为中心展开,本卡的核心判断「Adam 要为每个参数额外存一阶矩与二阶矩,用 fp32 存时状态量是参数量的两倍,成为显存大头。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:例如,Dettmers et al(2021)提出的一种方法使用8比特精度存储Adam优化器的统计数据,同时保持与使用32比特精度相同的整体性能。实现这一结果所采用的技术是按块动态量化,它能有效地处理大小元素。