知识卡片

普通读书笔记卡 · 2833

DDP等价性

理解等级:未标注

DDP 的正确性目标是让每个进程像独立训练同一个模型:起点相同,反向后梯度相同,优化器各自更新后状态仍相同。通信不是附加功能,而是维持数学等价性的条件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第5章《PyTorch DDP的基础架构》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_031.html) - 结论依据:原文列出 DDP 保证等价的三点:模型副本同状态开始、反向后得到相同梯度、独立优化器迭代后保持相同状态。 - 原始内容:在训练过程中,每个进程都有自己的本地模型副本和本地优化器。对于数据并行而言,DDP用如下途径使得本地训练和分布式训练在数学上等价。• 所有模型副本都从完全相同的模型状态开始训练。• 每次反向传播之后,所有模型副本都可以得到相同的参数梯度。