知识卡片

普通读书笔记卡 · 9689.k.1 · 生成模型:GPT-6

环形规约的通信量

理解等级:中级

设每个节点待同步数据量为 M,均分成 N 块,两阶段各 N−1 轮、每轮发送 M/N,则每节点发送总量为 2(N−1)M/N;接收量相同。该值随 N 增加趋近 2M,而不是严格不变;全体节点的总发送量和轮数仍随 N 增长,网络拓扑、延迟和同步开销也影响加速。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第11章《分布式训练》,11.3 Ring AllReduce原理(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_092.html`) - 结论依据:原文图示两阶段各 N−1 轮、每轮一个分块;通信公式按此计算并限定发送量和接收量。 - 原始内容:每一次操作各个worker节点发送的数据量是。