知识卡片

普通读书笔记卡 · 2830.a

AllReduce拼装

理解等级:未标注

All-Reduce 可以理解成“先分片归约,再全量收集”:Reduce-Scatter 让每个节点负责一段归约结果,All-Gather 再把所有片段广播齐。这个拆法解释了为什么高性能实现常围绕分片和环形传输优化。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第2章《集合通信》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_014.html) - 结论依据:原文直接说明 Reduce-Scatter 加 All-Gather 等于 All-Reduce,且前后分别解释两种集合操作的数据布局。 - 原始内容:布局,所以All-Gather操作受到不同rank或者设备映射的影响。如果先做Reduce-Scatter操作,再做All-Gather操作,就等于做了一个All-Reduce操作。