知识卡片

普通读书笔记卡 · 2842.a

数据并行优化

理解等级:未标注

数据并行里优化器通常不需要理解分布式,因为每个副本最终拿到同样梯度。DP 把梯度归到主卡,DDP/Horovod 在反向或 step 前同步,本质都是让本地优化器继续可用。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第14章《分布式优化器》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_077.html) - 结论依据:原文说明 DP 中只有一个优化器并由 forward/backward 归约梯度,DDP 和 Horovod 也围绕数据并行同步梯度。 - 原始内容:PyTorch在DP中使用多线程并行,应用中只有一个优化器。DP修改了forward()和backward()方法,把每个线程的梯度归约在一起然后做优化,所以虽然是数据并行,但是优化器不需要做修改。我们给出一个简化的图示,如图14-2所示,每个线程进行梯度计算,最后把梯度归约到GPU 0,