返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2834

Reducer核心

理解等级:未标注

Reducer 是 DDP 反向传播里的同步中枢:它观察梯度何时就绪,把梯度放进桶,按顺序发起 All-Reduce,最后把平均梯度写回参数。DDP 的性能细节,大多绕不开 Reducer。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第6章《PyTorch DDP的动态逻辑》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_034.html) - 结论依据:原文直接说明 Reducer 类提供反向传播中梯度同步的核心实现,后文围绕桶、钩子和归约展开。 - 原始内容:本章我们分析PyTorch DDP的核心Reducer类,该类提供了反向传播中梯度同步的核心实现。