知识卡片
跨设备归约
MirroredStrategy 的同步能力落在 CrossDeviceOps 上:它把跨设备值归约到一个设备或用 NCCL/层次复制做 All-Reduce。策略接口统一,真正性能差异在这些跨设备算子。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第18章《MirroredStrategy》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_098.html)
- 结论依据:原文列出 CrossDeviceOps 及 ReductionToOneDevice、NcclAllReduce、HierarchicalCopyAllReduce 等派生类。
- 原始内容:具体用到的集合操作类或者方法如下。CrossDeviceOps是跨设备操作的基类,目前其派生类如下。• tf.distribute.ReductionToOneDevice.• tf.distribute.NcclAllReduce.