知识卡片
累积步数的稳定性权衡
accumulation_steps 调的是一个兑换关系:用“更新频率”换“梯度质量”。调大它,每次参数更新所依据的梯度来自更多样本,噪声更小,等效批量更大,更新更平滑稳定;代价是一个 epoch 内 optimizer.step() 的次数按比例减少,模型收敛变慢。调小它,尤其是设为 1 即完全不累积时,小批量梯度的方差大,训练容易震荡。
取值不是凭感觉,而是两个数的商:目标等效批量 ÷ 显存能承受的微批量。书中 9.2 的示例目标是 128,实际微批量为 32,于是设 4;前面的线性模型示例则是 16×4 得到 64。判断设置是否合适,看训练损失曲线是否比不累积时更平滑、下降更少反复,同时确认总步数足以补偿减少的更新次数。
边界也要清楚:累积只改变梯度估计的方式,不改变模型容量和任务难度。需要大批量才能稳定的场景(显存限制下的大模型训练)收益明显;小任务上过大的累积步数只会让训练变慢。它与 [[梯度累积用小批量凑大批量]] 是同一机制的两个侧面:一个讲怎么做,一个讲做多少。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自适应优化器与动态学习率调度 · 查看原书依据
(1)当accumulation_steps增加时,每次更新时累积的梯度更多,相当于模拟了更大的批量大小,这通常能带来更稳定的更新效果,但会使模型更新变得缓慢。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0002.xhtml)
- 结论依据:原文在参数影响分析中直接给出“累积更多梯度→更新更稳定但更缓慢”,并指出步数设为 1 时可能导致训练不稳定;9.2.2 的示例给出 128÷32=4 的算法。
- 原始内容:(1)当accumulation_steps增加时,每次更新时累积的梯度更多,相当于模拟了更大的批量大小,这通常能带来更稳定的更新效果,但会使模型更新变得缓慢。