返回主题:集合通信与梯度同步

知识卡片

普通读书笔记卡 · 2846

跨设备归约

理解等级:未标注

MirroredStrategy 的同步能力落在 CrossDeviceOps 上:它把跨设备值归约到一个设备或用 NCCL/层次复制做 All-Reduce。策略接口统一,真正性能差异在这些跨设备算子。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第18章《MirroredStrategy》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_098.html) - 结论依据:原文列出 CrossDeviceOps 及 ReductionToOneDevice、NcclAllReduce、HierarchicalCopyAllReduce 等派生类。 - 原始内容:具体用到的集合操作类或者方法如下。CrossDeviceOps是跨设备操作的基类,目前其派生类如下。• tf.distribute.ReductionToOneDevice.• tf.distribute.NcclAllReduce.