← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9689.t · 生成模型:DeepSeek-V4.1-Flash

8位优化器省显存

理解等级:中级

Adam 要为每个参数额外存一阶矩与二阶矩,用 fp32 存时状态量是参数量的两倍,成为显存大头。8 位优化器的做法是:状态仍保留全部参数,但每个数只用 8 位存。

难点:优化器状态的数值分布高度不均匀,少数极大值会把量化区间撑开,大量小值挤在同一个桶里,精度尽失。

解法是分块动态量化:把状态张量切成小块,每块独立算自己的缩放常数(如块内绝对最大值),块内按 8 位映射。这样极值只影响它所在的那一块,其余块仍保留细粒度;配合误差补偿把舍入误差带到下一步,可保持与 32 位接近的训练效果。

收益与边界:优化器状态显存约降为四分之一,模型越大、状态占比越高,收益越明显;代价是量化与反量化的额外计算和实现复杂度。它常与 ZeRO 叠加使用——先分片再降精度,两个维度正交。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      例如,Dettmers et al(2021)提出的一种方法使用8比特精度存储Adam优化器的统计数据,同时保持与使用32比特精度相同的整体性能。实现这一结果所采用的技术是按块动态量化,它能有效地处理大小元素。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「例如,Dettmers et al(2021)提出的一种方法使用8比…」为中心展开,本卡的核心判断「Adam 要为每个参数额外存一阶矩与二阶矩,用 fp32 存时状态量是参数量的两倍,成为显存大头。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:例如,Dettmers et al(2021)提出的一种方法使用8比特精度存储Adam优化器的统计数据,同时保持与使用32比特精度相同的整体性能。实现这一结果所采用的技术是按块动态量化,它能有效地处理大小元素。