知识卡片
一前一后
1F1B 把流水线调度从“先全前向再全反向”改成“一个前向接一个反向”。它缩短激活存活时间,让每个 stage 更早释放内存,同时保持设备持续忙碌。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第10章《PipeDream之基础架构》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_055.html)
- 结论依据:原文说明让最后 stage 前向后立刻做该微批量反向,可让其他 stage 尽早反向并释放激活。
- 原始内容:算的优先级提高,让微批量标号小的反向计算比微批量标号大的前向计算先做。如果我们让最后一个stage在做完一次微批量的前向计算后,立马就做本微批量的反向计算,那么我们就能让其他的stage尽可能早地开始反向计算,这就是1F1B策略。