知识卡片
重计算换内存
Checkpointing 的核心是用额外计算换显存:前向只保留边界激活,反向时重跑一段前向恢复中间值。它不是免费优化,适合内存是瓶颈而算力仍可接受的模型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第8章《GPipe》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_045.html)
- 结论依据:原文说明 GPipe 只记录 stage 划分处输出、丢弃内部中间激活,反向时重新执行前向计算得到结果。
- 原始内容:是指在前向计算过程中,GPipe只记录流水线阶stage划分处的输出,丢弃stage内部的其他中间激活。在反向传播计算梯度时,GPipe会重新执行前向计算逻辑,从而得到各个算子的前向结果,再根据这些前向结果计算梯度。GPipe的Re-Materialization和OpenAI开源的Gradient