主题对照

集合通信与梯度同步

比较点对点与集合通信、All-Reduce 与 Ring 拓扑、梯度分桶和后台协调等梯度同步机制的性能与容错取舍。

13 张卡片 · 1 本书

本层 13 张卡片 · 含下级覆盖 13 张卡片

本主题的卡片

分布式机器学习:系统、工程与实战 · 分布式机器学习

拓扑即瓶颈

通信拓扑决定瓶颈在哪里:参数服务器把更新集中到中心,易于管理但中心压力大;All-Reduce 去中心后,每个节点都参与聚合;Ring 进一步只和邻居通信,扩展性好但对节点故障更敏感。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 集合通信

通信模式分层

并行训练的通信先分清两层:点对点适合一发一收的邻居交互,集合通信适合多方共同完成广播、聚合或重排。前者容易实现,后者才是数据并行梯度同步的核心难点。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 集合通信

AllReduce拼装

All-Reduce 可以理解成“先分片归约,再全量收集”:Reduce-Scatter 让每个节点负责一段归约结果,All-Gather 再把所有片段广播齐。这个拆法解释了为什么高性能实现常围绕分片和环形传输优化。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 集合通信

Ring去中心

Ring All-Reduce 的关键不是“环”这个形状,而是把中心聚合拆成邻居间的分段传递。每个节点既计算也转发,避免参数服务器热点;代价是整体流程更依赖所有节点按协议推进。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构

通信四件套

PyTorch 分布式通信的四件套各管一层:进程组定义谁参与,后端决定怎么通信,初始化方法帮助进程互相发现,Store 共享启动信息。DDP 的 API 干净,是因为这些粗糙分布式问题被预先收拢了。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构

梯度分桶

梯度分桶把许多小梯度合成更适合网络传输的大块,并用自动求导钩子在桶就绪时立刻 All-Reduce。桶太小通信次数多,太大等待时间长,性能优化落在这个粒度选择上。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DDP的动态逻辑

Reducer核心

Reducer 是 DDP 反向传播里的同步中枢:它观察梯度何时就绪,把梯度放进桶,按顺序发起 All-Reduce,最后把平均梯度写回参数。DDP 的性能细节,大多绕不开 Reducer。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DDP的动态逻辑

桶副本边界

Bucket 的设计保留了单进程多设备的历史痕迹,但当前 DDP 实际只使用一个 BucketReplica。读源码时要区分“结构为未来或历史保留”和“运行时真正生效”,否则容易误解数据维度。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DDP的动态逻辑

Join补通信

DDP Join 是为不均匀输入准备的“补位通信”:数据少的 rank 不能直接退出,否则其他 rank 的集合通信会挂起;Join 让已完成的进程继续参与必要通信,维持协议完整。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · Horovod

Driver探测网络

Horovod 启动时先让 Driver 和 Task 服务协作探测可用网络接口,尤其要找出环形拓扑可共同使用的路由。每个 Worker 探测下一索引 Worker 的接口,最后取所有路由接口的交集。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · Horovod

后台线程协调

Horovod 用后台线程承接跨 Worker 协调,把训练线程从通信编排中分离出来。前台框架继续提交张量,后台统一处理队列、协商和集合通信,形成计算框架与通信系统之间的缓冲层。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · Horovod

框架融合层

Horovod 的融合层解决的是跨框架抽象问题:TensorFlow、PyTorch、MXNet 的优化器接口不同,但“提交张量、聚合梯度、回写结果”可以抽成统一通信算子,再由适配层接入各框架。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · MirroredStrategy

跨设备归约

MirroredStrategy 的同步能力落在 CrossDeviceOps 上:它把跨设备值归约到一个设备或用 NCCL/层次复制做 All-Reduce。策略接口统一,真正性能差异在这些跨设备算子。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 2829 分布训练动因 路径上下文 分布式机器学习:系统、工程与实战 · 分布式机器学习 理解等级:未标注
    • 2829.c 拓扑即瓶颈 主题成员 分布式机器学习:系统、工程与实战 · 分布式机器学习 理解等级:未标注
  • 展开或收起下级: 2830 通信模式分层 主题成员 分布式机器学习:系统、工程与实战 · 集合通信 理解等级:未标注
    • 2830.a AllReduce拼装 主题成员 分布式机器学习:系统、工程与实战 · 集合通信 理解等级:未标注
    • 2830.b Ring去中心 主题成员 分布式机器学习:系统、工程与实战 · 集合通信 理解等级:未标注
  • 展开或收起下级: 2833 DDP等价性 路径上下文 分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构 理解等级:未标注
    • 2833.a 通信四件套 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构 理解等级:未标注
    • 2833.b 梯度分桶 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构 理解等级:未标注
  • 展开或收起下级: 2834 Reducer核心 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的动态逻辑 理解等级:未标注
    • 2834.a 桶副本边界 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的动态逻辑 理解等级:未标注
    • 2834.b Join补通信 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的动态逻辑 理解等级:未标注
  • 展开或收起下级: 2835 Horovod包装器 路径上下文 分布式机器学习:系统、工程与实战 · Horovod 理解等级:未标注
    • 2835.a Driver探测网络 主题成员 分布式机器学习:系统、工程与实战 · Horovod 理解等级:未标注
    • 2835.b 后台线程协调 主题成员 分布式机器学习:系统、工程与实战 · Horovod 理解等级:未标注
    • 2835.c 框架融合层 主题成员 分布式机器学习:系统、工程与实战 · Horovod 理解等级:未标注
  • 2846 跨设备归约 主题成员 分布式机器学习:系统、工程与实战 · MirroredStrategy 理解等级:未标注

来源书籍

主题索引

训练并行策略

数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。

58 张卡片 · 3 本书