拓扑即瓶颈
通信拓扑决定瓶颈在哪里:参数服务器把更新集中到中心,易于管理但中心压力大;All-Reduce 去中心后,每个节点都参与聚合;Ring 进一步只和邻居通信,扩展性好但对节点故障更敏感。
主题对照
比较点对点与集合通信、All-Reduce 与 Ring 拓扑、梯度分桶和后台协调等梯度同步机制的性能与容错取舍。
通信拓扑决定瓶颈在哪里:参数服务器把更新集中到中心,易于管理但中心压力大;All-Reduce 去中心后,每个节点都参与聚合;Ring 进一步只和邻居通信,扩展性好但对节点故障更敏感。
并行训练的通信先分清两层:点对点适合一发一收的邻居交互,集合通信适合多方共同完成广播、聚合或重排。前者容易实现,后者才是数据并行梯度同步的核心难点。
All-Reduce 可以理解成“先分片归约,再全量收集”:Reduce-Scatter 让每个节点负责一段归约结果,All-Gather 再把所有片段广播齐。这个拆法解释了为什么高性能实现常围绕分片和环形传输优化。
Ring All-Reduce 的关键不是“环”这个形状,而是把中心聚合拆成邻居间的分段传递。每个节点既计算也转发,避免参数服务器热点;代价是整体流程更依赖所有节点按协议推进。
PyTorch 分布式通信的四件套各管一层:进程组定义谁参与,后端决定怎么通信,初始化方法帮助进程互相发现,Store 共享启动信息。DDP 的 API 干净,是因为这些粗糙分布式问题被预先收拢了。
梯度分桶把许多小梯度合成更适合网络传输的大块,并用自动求导钩子在桶就绪时立刻 All-Reduce。桶太小通信次数多,太大等待时间长,性能优化落在这个粒度选择上。
Reducer 是 DDP 反向传播里的同步中枢:它观察梯度何时就绪,把梯度放进桶,按顺序发起 All-Reduce,最后把平均梯度写回参数。DDP 的性能细节,大多绕不开 Reducer。
Bucket 的设计保留了单进程多设备的历史痕迹,但当前 DDP 实际只使用一个 BucketReplica。读源码时要区分“结构为未来或历史保留”和“运行时真正生效”,否则容易误解数据维度。
DDP Join 是为不均匀输入准备的“补位通信”:数据少的 rank 不能直接退出,否则其他 rank 的集合通信会挂起;Join 让已完成的进程继续参与必要通信,维持协议完整。
Horovod 启动时先让 Driver 和 Task 服务协作探测可用网络接口,尤其要找出环形拓扑可共同使用的路由。每个 Worker 探测下一索引 Worker 的接口,最后取所有路由接口的交集。
Horovod 用后台线程承接跨 Worker 协调,把训练线程从通信编排中分离出来。前台框架继续提交张量,后台统一处理队列、协商和集合通信,形成计算框架与通信系统之间的缓冲层。
Horovod 的融合层解决的是跨框架抽象问题:TensorFlow、PyTorch、MXNet 的优化器接口不同,但“提交张量、聚合梯度、回写结果”可以抽成统一通信算子,再由适配层接入各框架。
MirroredStrategy 的同步能力落在 CrossDeviceOps 上:它把跨设备值归约到一个设备或用 NCCL/层次复制做 All-Reduce。策略接口统一,真正性能差异在这些跨设备算子。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
分布式训练框架与系统类
书籍类型:工程实践
清单覆盖 7/7
59 张卡片
主题索引
数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。
与 3 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
共享 1 个其他主题;来自相同书籍;属于相同分类