知识卡片

结构图卡 · 9554.b · 生成模型:DeepSeek-V4.1-Flash

梯度累积用小批量凑大批量

理解等级:中级

梯度累积解决的是“目标批量装不进显存”的矛盾。做法是把一个大批量拆成若干个微批量,逐个前向、反向;反向后不清零梯度,而让梯度继续累加;累计到设定步数后,才执行一次参数更新并把梯度清零,进入下一轮。书中示例单批 16、累积 4 步,等效于批量 64 的一次更新。

它省的是激活与中间结果的显存,不是省计算:总的前向反向次数不变,只是把“更新频率”降下来。因此有明确的代价——同样 epoch 数下参数更新次数变为原来的四分之一,收敛可能变慢,需要相应增加训练轮次或步数来补偿。另一个必要条件是累积期间不能清零梯度,只在 optimizer.step() 之后调用 optimizer.zero_grad(),否则前面的累积全部作废。

书中用搬运工比喻:车装不下就分几趟把货搬到仓库门口,攒够目标数量再一起入库,既不超载又完成同样的搬运量。是否值得用,取决于目标是“等效大批量的稳定梯度”而不是“更快的单步速度”。累积步数怎么取,见 [[累积步数的稳定性权衡]];优化器侧的选择见 [[AdamW权重衰减抑制过拟合]]。

结构图:

graph TD
    A[取一个微批量] --> B[前向计算损失]
    B --> C[反向累积梯度]
    C --> D{达到累积步数}
    D -->|否| A
    D -->|是| E[更新参数]
    E --> F[梯度清零]
    F --> A
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自适应优化器与动态学习率调度 · 查看原书依据

      在模型训练中,梯度累积的逻辑是这样的:每次通过一小批量的数据算出模型的“梯度”(相当于搬运的“货物量”),不立即更新模型,而是把这次的梯度“累积”起来,等待更多的小批量数据的梯度累积到一起,当累积了足够的梯度(达到目标的大批量数量),才一次性更新模型。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0002.xhtml) - 结论依据:原文明确写出“不立即更新模型,而是把这次的梯度累积起来”,达到目标批量后再一次性更新,并以搬运工分趟运货作类比说明显存不受超载。 - 原始内容:在模型训练中,梯度累积的逻辑是这样的:每次通过一小批量的数据算出模型的“梯度”(相当于搬运的“货物量”),不立即更新模型,而是把这次的梯度“累积”起来,等待更多的小批量数据的梯度累积到一起,当累积了足够的梯度(达到目标的大批量数量),才一次性更新模型。