返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2836.b

重计算换内存

理解等级:未标注

Checkpointing 的核心是用额外计算换显存:前向只保留边界激活,反向时重跑一段前向恢复中间值。它不是免费优化,适合内存是瓶颈而算力仍可接受的模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第8章《GPipe》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_045.html) - 结论依据:原文说明 GPipe 只记录 stage 划分处输出、丢弃内部中间激活,反向时重新执行前向计算得到结果。 - 原始内容:是指在前向计算过程中,GPipe只记录流水线阶stage划分处的输出,丢弃stage内部的其他中间激活。在反向传播计算梯度时,GPipe会重新执行前向计算逻辑,从而得到各个算子的前向结果,再根据这些前向结果计算梯度。GPipe的Re-Materialization和OpenAI开源的Gradient