知识卡片
环形规约与全量收集
Ring AllReduce 将每个节点的数据分成 N 块。Reduce-Scatter 阶段进行 N−1 轮邻居交换与累加,使每个节点持有不同块的完整规约结果;AllGather 再进行 N−1 轮交换,将各完整块传播给所有节点。若目标是均值,还需按参与样本数或节点数进行正确归一化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式训练 11.3 Ring AllReduce原理 · 查看原书依据
它分为Split、ScatterReduce和AllGather三个步骤
参考来源
- 位置:《用Python实现深度学习框架》第11章《分布式训练》,11.3 Ring AllReduce原理(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_092.html`)
- 结论依据:原文图示两阶段各 N−1 轮、每轮一个分块;通信公式按此计算并限定发送量和接收量。
- 原始内容:它分为Split、ScatterReduce和AllGather三个步骤。