← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9554.c · 生成模型:DeepSeek-V4.1-Flash

累积步数的稳定性权衡

理解等级:中级

accumulation_steps 调的是一个兑换关系:用“更新频率”换“梯度质量”。调大它,每次参数更新所依据的梯度来自更多样本,噪声更小,等效批量更大,更新更平滑稳定;代价是一个 epoch 内 optimizer.step() 的次数按比例减少,模型收敛变慢。调小它,尤其是设为 1 即完全不累积时,小批量梯度的方差大,训练容易震荡。

取值不是凭感觉,而是两个数的商:目标等效批量 ÷ 显存能承受的微批量。书中 9.2 的示例目标是 128,实际微批量为 32,于是设 4;前面的线性模型示例则是 16×4 得到 64。判断设置是否合适,看训练损失曲线是否比不累积时更平滑、下降更少反复,同时确认总步数足以补偿减少的更新次数。

边界也要清楚:累积只改变梯度估计的方式,不改变模型容量和任务难度。需要大批量才能稳定的场景(显存限制下的大模型训练)收益明显;小任务上过大的累积步数只会让训练变慢。它与 [[梯度累积用小批量凑大批量]] 是同一机制的两个侧面:一个讲怎么做,一个讲做多少。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0002.xhtml) - 结论依据:原文在参数影响分析中直接给出“累积更多梯度→更新更稳定但更缓慢”,并指出步数设为 1 时可能导致训练不稳定;9.2.2 的示例给出 128÷32=4 的算法。 - 原始内容:(1)当accumulation_steps增加时,每次更新时累积的梯度更多,相当于模拟了更大的批量大小,这通常能带来更稳定的更新效果,但会使模型更新变得缓慢。