← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9552.i · 生成模型:DeepSeek-V4.1-Flash

梯度累积的等价边界

理解等级:高级

梯度累积常被说成”等价于大批次”,这个说法有条件。成立的部分是:若每个小批次的损失都除以累积步数,累加得到的梯度就等于把这些样本拼成一个大批次后算出的平均梯度,更新方向一致。

不成立的部分有三处。其一,批归一化这类依赖批内统计的层,统计量仍按小批次估计,与大批次下的统计不同。其二,更新频率变了:累积若干步才更新一次,动量等优化器状态的更新节奏随之改变,学习率调度若按迭代步计数,实际效果会偏离预期。其三,训练中的随机性(丢弃、数据增强)作用在不同的小批次上,不会因为梯度被累加而变成大批次的一次采样。

所以调参时应把”等效批次”当作名义值,同时检查归一化层与调度器的计数口径。原文给出的收益判断是稳妥的:它让小批量训练也能获得大批量训练的稳定性,同时把显存需求压到小批次的水平——收益真实,但”等价”只在梯度这一层成立。参见 [[梯度累积攒够再更新]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0003.xhtml) - 结论依据:原文一方面强调梯度累积能模拟大批量训练效果、提升稳定性,另一方面在代码解析中要求按累积步数缩放损失以保持数值平衡,说明等价有前提。 - 原始内容:通常情况下,大批量训练能更稳定地更新模型,帮助模型更好地学习。但如果显存不足,就很难一次性处理大批量数据。梯度累积可以让小批量训练的模型也受益于大批量训练的稳定性,通过攒够梯度的方式来达到大批量训练的效果。