知识卡片

普通读书笔记卡 · 2832.a

DP复制流程

理解等级:未标注

DP 的一次迭代是“分发数据、复制模型、并行前向、聚集输出、分发损失、反向归约、主卡更新”。它的易用性来自框架代管这些步骤,但性能问题也来自这些固定搬运路径。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第4章《PyTorch DataParallel》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_029.html) - 结论依据:原文总结 DataParallel 九个步骤,包括数据分发、模型复制、并行前向、GPU 0 计算损失、梯度归约和 optimizer.step。 - 原始内容:总结一下DataParallel的全部流程,如图4-9所示,原始数据和模型都被放入默认的GPU,即GPU 0,然后进行以下迭代。①分发阶段会把数据分发到其他GPU。②复制阶段会把模型分发到其他GPU。