知识卡片
梯度累积攒够再更新
梯度累积把”大批次”拆成”多次小批次”来喂。每次只取一个小批次做前向和反向,梯度在参数张量上不断累加,但先不调用优化器;等到累积了设定步数(例如 4 步)才执行一次参数更新,然后清零梯度进入下一轮。一次更新所依据的样本量等于小批次乘以累积步数,起到了大批次的平滑效果,而瞬时显存只按小批次计。
实现上有三个细节必须对齐:
- 损失要除以累积步数,使累加后的梯度等于各小批次梯度的平均,否则等效学习率被放大。
- 参数更新只在累积边界调用,中间步骤只做反向。
- 梯度清零必须放在更新之后,若每步都清零则累积完全失效。
代价是更新次数变少——同样的轮数下参数被修改的次数只有原来的几分之一,通常需要相应增加轮数或调整学习率来补偿。它不增加任何算力,本质是用时间换显存。参见 [[梯度累积的等价边界]]。
结构图:
flowchart LR
M1[微批1 前向反向] --> A[梯度累加不清零]
M2[微批2 前向反向] --> A
M3[微批3 前向反向] --> A
M4[微批4 前向反向] --> A
A --> S[优化器更新参数]
S --> Z[梯度清零]
Z --> M1
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型性能优化:混合精度训练与分布式训练 · 查看原书依据
梯度累积是一种在解决显存受限时进行大批量训练的方法,它将多个小批次的梯度累积后进行一次参数更新。通常,在每个小批次结束时计算梯度但不立即更新模型,而是等到累积了指定数量的小批次后再进行一次参数更新。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0003.xhtml)
- 结论依据:原文说明梯度累积把多个小批次梯度累积后进行一次参数更新,小批次结束时只算梯度不更新,累积到指定数量再更新。
- 原始内容:梯度累积是一种在解决显存受限时进行大批量训练的方法,它将多个小批次的梯度累积后进行一次参数更新。通常,在每个小批次结束时计算梯度但不立即更新模型,而是等到累积了指定数量的小批次后再进行一次参数更新。