主题索引
远程调用与REST设计
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
来源书籍
7/7
Skill 版本:未记录
类别:分布式训练框架与系统类(2026-09-27 按授权新建,见 category-checklists.md)
本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。书中 PyTorch、Horovod、TensorFlow 等源码结构以出版时版本为准,具体接口需按当前文档核对。
books/人工智能4/分布式机器学习:系统、工程与实战.epub_epub-src/_chapter-index.json、_chapter-text/全书 19 章均为精读。原因是每章都围绕分布式机器学习系统中的核心抽象、框架实现或工程权衡展开,落在专业取材范围内;前言、版权、图片附录等非正文项目未进入章节清单。
| 章节号 | 章节标题 | 精读/略读 | 状态(pending/done) | 卡片数 | 理由 |
|---|---|---|---|---|---|
| 01 | 分布式机器学习 | 精读 | done | 4 | 总论章,给出分布式训练动因、并行分类、通信拓扑和一致性协议,是全书概念底座。 |
| 02 | 集合通信 | 精读 | done | 3 | 解释点对点、集合通信、All-Reduce 与 Ring All-Reduce,是理解数据并行性能的关键。 |
| 03 | 参数服务器之PS-Lite | 精读 | done | 4 | 以 PS-Lite 拆解参数服务器角色、消息、通信模块和应用节点,系统设计密度高。 |
| 04 | PyTorch DataParallel | 精读 | done | 2 | 虽然有 API 流程,但核心价值在于理解单进程多线程数据并行的瓶颈。 |
| 05 | PyTorch DDP的基础架构 | 精读 | done | 3 | 讲 DDP 的等价性、进程组、Store 与梯度分桶,是 PyTorch 数据并行主干。 |
| 06 | PyTorch DDP的动态逻辑 | 精读 | done | 3 | 深入 Reducer、Bucket、静态图和 Join,直接解释 DDP 性能与正确性机制。 |
| 07 | Horovod | 精读 | done | 4 | 通过 Horovod 展示框架无关的分布式优化器、启动、网络探测和后台线程架构。 |
| 08 | GPipe | 精读 | done | 3 | 讲流水线并行、微批量、梯度累积与重计算,稳定性强于具体实现细节。 |
| 09 | PyTorch流水线并行 | 精读 | done | 3 | 把 GPipe 落到 torchgpipe 的分区、依赖、调度和流并行实现,工程含量高。 |
| 10 | PipeDream之基础架构 | 精读 | done | 4 | 围绕 1F1B、profile、动态规划分区和模型转换解释流水线系统设计。 |
| 11 | PipeDream之动态逻辑 | 精读 | done | 3 | 分析 Runtime、通信关系、1F1B 与权重一致性,是流水线训练的运行时重点。 |
| 12 | Megatron | 精读 | done | 3 | 说明张量模型并行、Column/Row 切分和混合并行组,是大模型训练关键架构。 |
| 13 | PyTorch如何实现模型并行 | 精读 | done | 3 | 深入 RPC、分布式自动求导、上下文和 GraphTask,是模型并行底层机制。 |
| 14 | 分布式优化器 | 精读 | done | 3 | 比较数据并行与模型并行优化器,解释参数归属如何决定优化器边界。 |
| 15 | 分布式运行环境之静态架构 | 精读 | done | 3 | 从 TensorFlow 的 Cluster、Master/Worker、图切分和 Rendezvous 拆静态系统。 |
| 16 | 分布式运行环境之动态逻辑 | 精读 | done | 2 | 讲 Session、Master 运行、Worker 注册执行与跨进程张量传输流程。 |
| 17 | 分布式策略基础 | 精读 | done | 3 | 解释 TensorFlow Strategy、作用域和分布式变量,是策略层抽象基础。 |
| 18 | MirroredStrategy | 精读 | done | 3 | 说明单机多卡镜像变量、跨设备归约、并行线程和 EagerService。 |
| 19 | ParameterServerStrategy | 精读 | done | 3 | 讲 Coordinator、Closure、队列和失败恢复,是参数服务器策略的运行模型。 |
| 序号 | 实践卡 | 实践方式 | 状态 |
|---|---|---|---|
| 001 | [[测DDP分桶大小]] | 行为实验 | 计划已写,未执行 |
| 002 | [[试重计算省显存]] | 行为实验 | 计划已写,未执行 |
| 必答维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 并行范式与切分 | 已覆盖 | [[三种并行]]、[[流水线并行]]、[[张量并行]]、[[列行线性层]]、[[并行组组合]] |
| 通信原语与拓扑 | 已覆盖 | [[通信模式分层]]、[[AllReduce拼装]]、[[Ring去中心]]、[[拓扑即瓶颈]] |
| 参数同步与一致性 | 已覆盖 | [[同步宽松度]]、[[参数服务器]]、[[PS三角色]]、[[权重版本治理]]、[[分布式变量]] |
| 通信与计算重叠 | 已覆盖 | [[梯度分桶]]、[[Reducer核心]]、[[后台线程协调]]、[[流并行通信]] |
| 显存与负载平衡 | 已覆盖 | [[重计算换内存]]、[[微批量累积]]、[[自动平衡]]、[[Profile分区]]、[[动态规划切层]] |
| 运行时与调度 | 已覆盖 | [[集群三层]]、[[Master协调图]]、[[Session角色]]、[[协调器调度]]、[[Runtime职责]] |
| 容错与弹性 | 已覆盖 | [[失败重排]]、[[Join补通信]]、[[Closure任务封装]] |
本书拆解集合通信、参数服务器、PyTorch DDP/Horovod、GPipe/PipeDream 流水线、Megatron 张量并行、PyTorch RPC 模型并行和 TensorFlow 分布式运行时与 Strategy;复用分布式机器学习训练、远程调用等既有主题,新建“集合通信与梯度同步”“模型并行:流水线、张量与RPC”两个主题,全部卡片均已归入主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 分布训练动因 | 已复用 | notes/_topics/distributed-ml-training.md |
| 三种并行 | 已复用 | notes/_topics/distributed-ml-training.md |
| 同步宽松度 | 已复用 | notes/_topics/distributed-ml-training.md |
| 拓扑即瓶颈 | 已创建 | notes/_topics/collective-communication.md |
| 通信模式分层 | 已创建 | notes/_topics/collective-communication.md |
| AllReduce拼装 | 已创建 | notes/_topics/collective-communication.md |
| Ring去中心 | 已创建 | notes/_topics/collective-communication.md |
| 参数服务器 | 已复用 | notes/_topics/distributed-ml-training.md |
| PS三角色 | 已复用 | notes/_topics/distributed-ml-training.md |
| Customer代理 | 已复用 | notes/_topics/distributed-ml-training.md |
| Van隔离通信 | 已复用 | notes/_topics/distributed-ml-training.md |
| DP主卡瓶颈 | 已复用 | notes/_topics/distributed-ml-training.md |
| DP复制流程 | 已复用 | notes/_topics/distributed-ml-training.md |
| DDP等价性 | 已复用 | notes/_topics/distributed-ml-training.md |
| 通信四件套 | 已创建 | notes/_topics/collective-communication.md |
| 梯度分桶 | 已创建 | notes/_topics/collective-communication.md |
| Reducer核心 | 已创建 | notes/_topics/collective-communication.md |
| 桶副本边界 | 已创建 | notes/_topics/collective-communication.md |
| Join补通信 | 已创建 | notes/_topics/collective-communication.md |
| Horovod包装器 | 已复用 | notes/_topics/distributed-ml-training.md |
| Driver探测网络 | 已创建 | notes/_topics/collective-communication.md |
| 后台线程协调 | 已创建 | notes/_topics/collective-communication.md |
| 框架融合层 | 已创建 | notes/_topics/collective-communication.md |
| 流水线并行 | 已创建 | notes/_topics/model-parallelism.md、notes/_topics/distributed-ml-training.md |
| 微批量累积 | 已创建 | notes/_topics/model-parallelism.md |
| 重计算换内存 | 已创建 | notes/_topics/model-parallelism.md |
| 自动平衡 | 已创建 | notes/_topics/model-parallelism.md |
| 显式依赖 | 已创建 | notes/_topics/model-parallelism.md |
| 流并行通信 | 已创建 | notes/_topics/model-parallelism.md |
| 一前一后 | 已创建 | notes/_topics/model-parallelism.md |
| Profile分区 | 已创建 | notes/_topics/model-parallelism.md |
| 动态规划切层 | 已创建 | notes/_topics/model-parallelism.md |
| 模型转换 | 已创建 | notes/_topics/model-parallelism.md |
| Runtime职责 | 已创建 | notes/_topics/model-parallelism.md |
| 生产者消费者 | 已创建 | notes/_topics/model-parallelism.md |
| 权重版本治理 | 已创建 | notes/_topics/model-parallelism.md |
| 张量并行 | 已创建 | notes/_topics/model-parallelism.md |
| 列行线性层 | 已创建 | notes/_topics/model-parallelism.md |
| 并行组组合 | 已创建 | notes/_topics/model-parallelism.md、notes/_topics/distributed-ml-training.md |
| RPC像本地调用 | 已创建 | notes/_topics/model-parallelism.md、notes/_topics/rpc-rest-api.md |
| 求导上下文 | 已创建 | notes/_topics/model-parallelism.md |
| GraphTask执行 | 已创建 | notes/_topics/model-parallelism.md |
| 优化器分类 | 已复用 | notes/_topics/distributed-ml-training.md |
| 数据并行优化 | 已复用 | notes/_topics/distributed-ml-training.md |
| 本地子模型优化 | 已创建 | notes/_topics/model-parallelism.md |
| 集群三层 | 已复用 | notes/_topics/distributed-ml-training.md |
| Master协调图 | 已复用 | notes/_topics/distributed-ml-training.md |
| Rendezvous通道 | 已复用 | notes/_topics/distributed-ml-training.md |
| Session角色 | 已复用 | notes/_topics/distributed-ml-training.md |
| 接收方拉取 | 已复用 | notes/_topics/distributed-ml-training.md |
| Strategy作用域 | 已复用 | notes/_topics/distributed-ml-training.md |
| 分布式变量 | 已复用 | notes/_topics/distributed-ml-training.md |
| 变量分片 | 已复用 | notes/_topics/distributed-ml-training.md |
| 跨设备归约 | 已创建 | notes/_topics/collective-communication.md |
| 镜像线程执行 | 已复用 | notes/_topics/distributed-ml-training.md |
| 远程Eager执行 | 已复用 | notes/_topics/distributed-ml-training.md、notes/_topics/rpc-rest-api.md |
| 协调器调度 | 已复用 | notes/_topics/distributed-ml-training.md |
| Closure任务封装 | 已复用 | notes/_topics/distributed-ml-training.md |
| 失败重排 | 已复用 | notes/_topics/distributed-ml-training.md、notes/_topics/faults-partial-failure-clocks.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。
主题索引
数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。
主题索引
TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。
主题索引
参数服务器的三角色与两层结构,SSP 用陈旧度下界放宽同步、VAP 限制增量传播;参数分片、缓存新鲜度、拉推周期与二维切分怎样决定训练吞吐,以及宽松同步为什么不自动保证收敛。
主题索引
比较流水线并行、张量切分和基于 RPC 的模型并行在切分方式、显存、调度与权重一致性上的做法和代价。
主题索引
比较点对点与集合通信、All-Reduce 与 Ring 拓扑、梯度分桶和后台协调等梯度同步机制的性能与容错取舍。