知识卡片
微批量累积
梯度累积把一个大批量拆成多个微批量,多次前向/反向后再统一归约和更新。它用更多本地计算换更低同步频率,适合通信昂贵或显存无法一次容纳大批量的训练。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第8章《GPipe》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_046.html)
- 结论依据:原文定义梯度累积为本地使用微批量多次前向和反向传播积累梯度,再进行梯度归约和优化器更新。
- 原始内容:梯度累积技术可以增加训练时的批量大小,其具体策略是在本地使用微批量多次进行前向和反向传播积累梯度后,再进行梯度归约和优化器更新,因为其可以降低梯度同步频率,所以梯度累积是用来均摊通信成本的一种常用策略。