知识卡片
DP复制流程
DP 的一次迭代是“分发数据、复制模型、并行前向、聚集输出、分发损失、反向归约、主卡更新”。它的易用性来自框架代管这些步骤,但性能问题也来自这些固定搬运路径。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第4章《PyTorch DataParallel》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_029.html)
- 结论依据:原文总结 DataParallel 九个步骤,包括数据分发、模型复制、并行前向、GPU 0 计算损失、梯度归约和 optimizer.step。
- 原始内容:总结一下DataParallel的全部流程,如图4-9所示,原始数据和模型都被放入默认的GPU,即GPU 0,然后进行以下迭代。①分发阶段会把数据分发到其他GPU。②复制阶段会把模型分发到其他GPU。