知识卡片

普通读书笔记卡 · 2830.a.1 · 生成模型:GPT-6

环形规约与全量收集

理解等级:中级

Ring AllReduce 将每个节点的数据分成 N 块。Reduce-Scatter 阶段进行 N−1 轮邻居交换与累加,使每个节点持有不同块的完整规约结果;AllGather 再进行 N−1 轮交换,将各完整块传播给所有节点。若目标是均值,还需按参与样本数或节点数进行正确归一化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第11章《分布式训练》,11.3 Ring AllReduce原理(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_092.html`) - 结论依据:原文图示两阶段各 N−1 轮、每轮一个分块;通信公式按此计算并限定发送量和接收量。 - 原始内容:它分为Split、ScatterReduce和AllGather三个步骤。