来源书籍

分布式机器学习:系统、工程与实战

Skill 版本:v8 分布式训练框架与系统类 工程实践 59 张卡片

尚未生成整书笔记。

类别清单覆盖

7/7

已覆盖 7 补充生成 0 未覆盖 0

章节与卡片

01 分布式机器学习

4 张卡片
  1. 分布训练动因 理解等级:未标注 普通读书笔记卡
  2. 三种并行 理解等级:未标注 普通读书笔记卡
  3. 同步宽松度 理解等级:未标注 普通读书笔记卡
  4. 拓扑即瓶颈 理解等级:未标注 普通读书笔记卡

02 集合通信

3 张卡片
  1. 通信模式分层 理解等级:未标注 普通读书笔记卡
  2. AllReduce拼装 理解等级:未标注 普通读书笔记卡
  3. Ring去中心 理解等级:未标注 普通读书笔记卡

03 参数服务器之PS-Lite

4 张卡片
  1. 参数服务器 理解等级:未标注 普通读书笔记卡
  2. PS三角色 理解等级:未标注 普通读书笔记卡
  3. Customer代理 理解等级:未标注 普通读书笔记卡
  4. Van隔离通信 理解等级:未标注 普通读书笔记卡

04 PyTorch DataParallel

2 张卡片
  1. DP主卡瓶颈 理解等级:未标注 普通读书笔记卡
  2. DP复制流程 理解等级:未标注 普通读书笔记卡

05 PyTorch DDP的基础架构

3 张卡片
  1. DDP等价性 理解等级:未标注 普通读书笔记卡
  2. 通信四件套 理解等级:未标注 普通读书笔记卡
  3. 梯度分桶 理解等级:未标注 普通读书笔记卡

06 PyTorch DDP的动态逻辑

3 张卡片
  1. Reducer核心 理解等级:未标注 普通读书笔记卡
  2. 桶副本边界 理解等级:未标注 普通读书笔记卡
  3. Join补通信 理解等级:未标注 普通读书笔记卡

07 Horovod

4 张卡片
  1. Horovod包装器 理解等级:未标注 普通读书笔记卡
  2. Driver探测网络 理解等级:未标注 普通读书笔记卡
  3. 后台线程协调 理解等级:未标注 普通读书笔记卡
  4. 框架融合层 理解等级:未标注 普通读书笔记卡

08 GPipe

3 张卡片
  1. 流水线并行 理解等级:未标注 普通读书笔记卡
  2. 微批量累积 理解等级:未标注 普通读书笔记卡
  3. 重计算换内存 理解等级:未标注 普通读书笔记卡

09 PyTorch流水线并行

3 张卡片
  1. 自动平衡 理解等级:未标注 普通读书笔记卡
  2. 显式依赖 理解等级:未标注 普通读书笔记卡
  3. 流并行通信 理解等级:未标注 普通读书笔记卡

10 PipeDream之基础架构

4 张卡片
  1. 一前一后 理解等级:未标注 普通读书笔记卡
  2. Profile分区 理解等级:未标注 普通读书笔记卡
  3. 动态规划切层 理解等级:未标注 普通读书笔记卡
  4. 模型转换 理解等级:未标注 普通读书笔记卡

11 PipeDream之动态逻辑

3 张卡片
  1. Runtime职责 理解等级:未标注 普通读书笔记卡
  2. 生产者消费者 理解等级:未标注 普通读书笔记卡
  3. 权重版本治理 理解等级:未标注 普通读书笔记卡

12 Megatron

3 张卡片
  1. 张量并行 理解等级:未标注 普通读书笔记卡
  2. 列行线性层 理解等级:未标注 普通读书笔记卡
  3. 并行组组合 理解等级:未标注 普通读书笔记卡

13 PyTorch如何实现模型并行

3 张卡片
  1. RPC像本地调用 理解等级:未标注 普通读书笔记卡
  2. 求导上下文 理解等级:未标注 普通读书笔记卡
  3. GraphTask执行 理解等级:未标注 普通读书笔记卡

14 分布式优化器

3 张卡片
  1. 优化器分类 理解等级:未标注 普通读书笔记卡
  2. 数据并行优化 理解等级:未标注 普通读书笔记卡
  3. 本地子模型优化 理解等级:未标注 普通读书笔记卡

15 分布式运行环境之静态架构

3 张卡片
  1. 集群三层 理解等级:未标注 普通读书笔记卡
  2. Master协调图 理解等级:未标注 普通读书笔记卡
  3. Rendezvous通道 理解等级:未标注 普通读书笔记卡

16 分布式运行环境之动态逻辑

2 张卡片
  1. Session角色 理解等级:未标注 普通读书笔记卡
  2. 接收方拉取 理解等级:未标注 普通读书笔记卡

17 分布式策略基础

3 张卡片
  1. Strategy作用域 理解等级:未标注 普通读书笔记卡
  2. 分布式变量 理解等级:未标注 普通读书笔记卡
  3. 变量分片 理解等级:未标注 普通读书笔记卡

18 MirroredStrategy

3 张卡片
  1. 跨设备归约 理解等级:未标注 普通读书笔记卡
  2. 镜像线程执行 理解等级:未标注 普通读书笔记卡
  3. 远程Eager执行 理解等级:未标注 普通读书笔记卡

19 ParameterServerStrategy

3 张卡片
  1. 协调器调度 理解等级:未标注 普通读书笔记卡
  2. Closure任务封装 理解等级:未标注 普通读书笔记卡
  3. 失败重排 理解等级:未标注 普通读书笔记卡

全书概览

《分布式机器学习:系统、工程与实战》读书笔记总览

Skill 版本:未记录

类别:分布式训练框架与系统类(2026-09-27 按授权新建,见 category-checklists.md)

本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。书中 PyTorch、Horovod、TensorFlow 等源码结构以出版时版本为准,具体接口需按当前文档核对。

  • 书名:分布式机器学习:系统、工程与实战
  • 四象限评级:工程实践
  • 评级理由:本书整体信息浓度高:从分布式训练的必要性出发,连续拆解集合通信、参数服务器、PyTorch DDP/Horovod、流水线并行、Megatron、TensorFlow Runtime 与 Strategy 等系统机制,重点不是 API 罗列,而是解释为什么要做梯度归约、分桶、通信隐藏、重计算、1F1B、权重版本治理和图切分。稳定性偏低到中等:许多推理逻辑可迁移,但大量章节绑定 PyTorch、TensorFlow、Horovod、PipeDream、Megatron 的具体源码结构与当时接口,因此按“高浓度 + 低稳定性”归为工程实践。
  • EPUB 源文件:books/人工智能4/分布式机器学习:系统、工程与实战.epub
  • 解包目录:_epub-src/
  • 章节文本索引:_chapter-index.json、_chapter-text/

章节筛选

全书 19 章均为精读。原因是每章都围绕分布式机器学习系统中的核心抽象、框架实现或工程权衡展开,落在专业取材范围内;前言、版权、图片附录等非正文项目未进入章节清单。

章节进度追踪

章节号 章节标题 精读/略读 状态(pending/done) 卡片数 理由
01 分布式机器学习 精读 done 4 总论章,给出分布式训练动因、并行分类、通信拓扑和一致性协议,是全书概念底座。
02 集合通信 精读 done 3 解释点对点、集合通信、All-Reduce 与 Ring All-Reduce,是理解数据并行性能的关键。
03 参数服务器之PS-Lite 精读 done 4 以 PS-Lite 拆解参数服务器角色、消息、通信模块和应用节点,系统设计密度高。
04 PyTorch DataParallel 精读 done 2 虽然有 API 流程,但核心价值在于理解单进程多线程数据并行的瓶颈。
05 PyTorch DDP的基础架构 精读 done 3 讲 DDP 的等价性、进程组、Store 与梯度分桶,是 PyTorch 数据并行主干。
06 PyTorch DDP的动态逻辑 精读 done 3 深入 Reducer、Bucket、静态图和 Join,直接解释 DDP 性能与正确性机制。
07 Horovod 精读 done 4 通过 Horovod 展示框架无关的分布式优化器、启动、网络探测和后台线程架构。
08 GPipe 精读 done 3 讲流水线并行、微批量、梯度累积与重计算,稳定性强于具体实现细节。
09 PyTorch流水线并行 精读 done 3 把 GPipe 落到 torchgpipe 的分区、依赖、调度和流并行实现,工程含量高。
10 PipeDream之基础架构 精读 done 4 围绕 1F1B、profile、动态规划分区和模型转换解释流水线系统设计。
11 PipeDream之动态逻辑 精读 done 3 分析 Runtime、通信关系、1F1B 与权重一致性,是流水线训练的运行时重点。
12 Megatron 精读 done 3 说明张量模型并行、Column/Row 切分和混合并行组,是大模型训练关键架构。
13 PyTorch如何实现模型并行 精读 done 3 深入 RPC、分布式自动求导、上下文和 GraphTask,是模型并行底层机制。
14 分布式优化器 精读 done 3 比较数据并行与模型并行优化器,解释参数归属如何决定优化器边界。
15 分布式运行环境之静态架构 精读 done 3 从 TensorFlow 的 Cluster、Master/Worker、图切分和 Rendezvous 拆静态系统。
16 分布式运行环境之动态逻辑 精读 done 2 讲 Session、Master 运行、Worker 注册执行与跨进程张量传输流程。
17 分布式策略基础 精读 done 3 解释 TensorFlow Strategy、作用域和分布式变量,是策略层抽象基础。
18 MirroredStrategy 精读 done 3 说明单机多卡镜像变量、跨设备归约、并行线程和 EagerService。
19 ParameterServerStrategy 精读 done 3 讲 Coordinator、Closure、队列和失败恢复,是参数服务器策略的运行模型。

汇总

  • 精读章节:19
  • 略读章节:0
  • 卡片总数:59
  • 实践卡:2

实践卡进度

序号 实践卡 实践方式 状态
001 [[测DDP分桶大小]] 行为实验 计划已写,未执行
002 [[试重计算省显存]] 行为实验 计划已写,未执行

类别清单核对(分布式训练框架与系统类)

必答维度 覆盖状态 关联卡片标题或未覆盖理由
并行范式与切分 已覆盖 [[三种并行]]、[[流水线并行]]、[[张量并行]]、[[列行线性层]]、[[并行组组合]]
通信原语与拓扑 已覆盖 [[通信模式分层]]、[[AllReduce拼装]]、[[Ring去中心]]、[[拓扑即瓶颈]]
参数同步与一致性 已覆盖 [[同步宽松度]]、[[参数服务器]]、[[PS三角色]]、[[权重版本治理]]、[[分布式变量]]
通信与计算重叠 已覆盖 [[梯度分桶]]、[[Reducer核心]]、[[后台线程协调]]、[[流并行通信]]
显存与负载平衡 已覆盖 [[重计算换内存]]、[[微批量累积]]、[[自动平衡]]、[[Profile分区]]、[[动态规划切层]]
运行时与调度 已覆盖 [[集群三层]]、[[Master协调图]]、[[Session角色]]、[[协调器调度]]、[[Runtime职责]]
容错与弹性 已覆盖 [[失败重排]]、[[Join补通信]]、[[Closure任务封装]]

主题索引维护

本书拆解集合通信、参数服务器、PyTorch DDP/Horovod、GPipe/PipeDream 流水线、Megatron 张量并行、PyTorch RPC 模型并行和 TensorFlow 分布式运行时与 Strategy;复用分布式机器学习训练、远程调用等既有主题,新建“集合通信与梯度同步”“模型并行:流水线、张量与RPC”两个主题,全部卡片均已归入主题。

卡片标题 结论 主题文件或原因
分布训练动因 已复用 notes/_topics/distributed-ml-training.md
三种并行 已复用 notes/_topics/distributed-ml-training.md
同步宽松度 已复用 notes/_topics/distributed-ml-training.md
拓扑即瓶颈 已创建 notes/_topics/collective-communication.md
通信模式分层 已创建 notes/_topics/collective-communication.md
AllReduce拼装 已创建 notes/_topics/collective-communication.md
Ring去中心 已创建 notes/_topics/collective-communication.md
参数服务器 已复用 notes/_topics/distributed-ml-training.md
PS三角色 已复用 notes/_topics/distributed-ml-training.md
Customer代理 已复用 notes/_topics/distributed-ml-training.md
Van隔离通信 已复用 notes/_topics/distributed-ml-training.md
DP主卡瓶颈 已复用 notes/_topics/distributed-ml-training.md
DP复制流程 已复用 notes/_topics/distributed-ml-training.md
DDP等价性 已复用 notes/_topics/distributed-ml-training.md
通信四件套 已创建 notes/_topics/collective-communication.md
梯度分桶 已创建 notes/_topics/collective-communication.md
Reducer核心 已创建 notes/_topics/collective-communication.md
桶副本边界 已创建 notes/_topics/collective-communication.md
Join补通信 已创建 notes/_topics/collective-communication.md
Horovod包装器 已复用 notes/_topics/distributed-ml-training.md
Driver探测网络 已创建 notes/_topics/collective-communication.md
后台线程协调 已创建 notes/_topics/collective-communication.md
框架融合层 已创建 notes/_topics/collective-communication.md
流水线并行 已创建 notes/_topics/model-parallelism.md、notes/_topics/distributed-ml-training.md
微批量累积 已创建 notes/_topics/model-parallelism.md
重计算换内存 已创建 notes/_topics/model-parallelism.md
自动平衡 已创建 notes/_topics/model-parallelism.md
显式依赖 已创建 notes/_topics/model-parallelism.md
流并行通信 已创建 notes/_topics/model-parallelism.md
一前一后 已创建 notes/_topics/model-parallelism.md
Profile分区 已创建 notes/_topics/model-parallelism.md
动态规划切层 已创建 notes/_topics/model-parallelism.md
模型转换 已创建 notes/_topics/model-parallelism.md
Runtime职责 已创建 notes/_topics/model-parallelism.md
生产者消费者 已创建 notes/_topics/model-parallelism.md
权重版本治理 已创建 notes/_topics/model-parallelism.md
张量并行 已创建 notes/_topics/model-parallelism.md
列行线性层 已创建 notes/_topics/model-parallelism.md
并行组组合 已创建 notes/_topics/model-parallelism.md、notes/_topics/distributed-ml-training.md
RPC像本地调用 已创建 notes/_topics/model-parallelism.md、notes/_topics/rpc-rest-api.md
求导上下文 已创建 notes/_topics/model-parallelism.md
GraphTask执行 已创建 notes/_topics/model-parallelism.md
优化器分类 已复用 notes/_topics/distributed-ml-training.md
数据并行优化 已复用 notes/_topics/distributed-ml-training.md
本地子模型优化 已创建 notes/_topics/model-parallelism.md
集群三层 已复用 notes/_topics/distributed-ml-training.md
Master协调图 已复用 notes/_topics/distributed-ml-training.md
Rendezvous通道 已复用 notes/_topics/distributed-ml-training.md
Session角色 已复用 notes/_topics/distributed-ml-training.md
接收方拉取 已复用 notes/_topics/distributed-ml-training.md
Strategy作用域 已复用 notes/_topics/distributed-ml-training.md
分布式变量 已复用 notes/_topics/distributed-ml-training.md
变量分片 已复用 notes/_topics/distributed-ml-training.md
跨设备归约 已创建 notes/_topics/collective-communication.md
镜像线程执行 已复用 notes/_topics/distributed-ml-training.md
远程Eager执行 已复用 notes/_topics/distributed-ml-training.md、notes/_topics/rpc-rest-api.md
协调器调度 已复用 notes/_topics/distributed-ml-training.md
Closure任务封装 已复用 notes/_topics/distributed-ml-training.md
失败重排 已复用 notes/_topics/distributed-ml-training.md、notes/_topics/faults-partial-failure-clocks.md

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书

主题索引

分布式机器学习训练

比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。

80 张卡片 · 6 本书

主题索引

训练并行策略

数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。

58 张卡片 · 3 本书

主题索引

训练运行时与迭代引擎

TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。

33 张卡片 · 7 本书

主题索引

参数服务器与同步宽松度

参数服务器的三角色与两层结构,SSP 用陈旧度下界放宽同步、VAP 限制增量传播;参数分片、缓存新鲜度、拉推周期与二维切分怎样决定训练吞吐,以及宽松同步为什么不自动保证收敛。

22 张卡片 · 4 本书

主题索引

模型并行:流水线、张量与RPC

比较流水线并行、张量切分和基于 RPC 的模型并行在切分方式、显存、调度与权重一致性上的做法和代价。

20 张卡片 · 1 本书

主题索引

集合通信与梯度同步

比较点对点与集合通信、All-Reduce 与 Ring 拓扑、梯度分桶和后台协调等梯度同步机制的性能与容错取舍。

13 张卡片 · 1 本书