知识卡片
梯度累积用小批量凑大批量
梯度累积解决的是“目标批量装不进显存”的矛盾。做法是把一个大批量拆成若干个微批量,逐个前向、反向;反向后不清零梯度,而让梯度继续累加;累计到设定步数后,才执行一次参数更新并把梯度清零,进入下一轮。书中示例单批 16、累积 4 步,等效于批量 64 的一次更新。
它省的是激活与中间结果的显存,不是省计算:总的前向反向次数不变,只是把“更新频率”降下来。因此有明确的代价——同样 epoch 数下参数更新次数变为原来的四分之一,收敛可能变慢,需要相应增加训练轮次或步数来补偿。另一个必要条件是累积期间不能清零梯度,只在 optimizer.step() 之后调用 optimizer.zero_grad(),否则前面的累积全部作废。
书中用搬运工比喻:车装不下就分几趟把货搬到仓库门口,攒够目标数量再一起入库,既不超载又完成同样的搬运量。是否值得用,取决于目标是“等效大批量的稳定梯度”而不是“更快的单步速度”。累积步数怎么取,见 [[累积步数的稳定性权衡]];优化器侧的选择见 [[AdamW权重衰减抑制过拟合]]。
结构图:
graph TD
A[取一个微批量] --> B[前向计算损失]
B --> C[反向累积梯度]
C --> D{达到累积步数}
D -->|否| A
D -->|是| E[更新参数]
E --> F[梯度清零]
F --> A
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自适应优化器与动态学习率调度 · 查看原书依据
在模型训练中,梯度累积的逻辑是这样的:每次通过一小批量的数据算出模型的“梯度”(相当于搬运的“货物量”),不立即更新模型,而是把这次的梯度“累积”起来,等待更多的小批量数据的梯度累积到一起,当累积了足够的梯度(达到目标的大批量数量),才一次性更新模型。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0002.xhtml)
- 结论依据:原文明确写出“不立即更新模型,而是把这次的梯度累积起来”,达到目标批量后再一次性更新,并以搬运工分趟运货作类比说明显存不受超载。
- 原始内容:在模型训练中,梯度累积的逻辑是这样的:每次通过一小批量的数据算出模型的“梯度”(相当于搬运的“货物量”),不立即更新模型,而是把这次的梯度“累积”起来,等待更多的小批量数据的梯度累积到一起,当累积了足够的梯度(达到目标的大批量数量),才一次性更新模型。