主题对照

模型并行:流水线、张量与RPC

比较流水线并行、张量切分和基于 RPC 的模型并行在切分方式、显存、调度与权重一致性上的做法和代价。

20 张卡片 · 1 本书

本层 20 张卡片 · 含下级覆盖 20 张卡片

本主题的卡片

分布式机器学习:系统、工程与实战 · GPipe

流水线并行

流水线并行按层切模型,让不同 stage 接力处理微批量。它的优势不是少算,而是每个设备只保存部分层,并且只在相邻 stage 传激活,通信量不随总模型大小线性膨胀。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · GPipe

微批量累积

梯度累积把一个大批量拆成多个微批量,多次前向/反向后再统一归约和更新。它用更多本地计算换更低同步频率,适合通信昂贵或显存无法一次容纳大批量的训练。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · GPipe

重计算换内存

Checkpointing 的核心是用额外计算换显存:前向只保留边界激活,反向时重跑一段前向恢复中间值。它不是免费优化,适合内存是瓶颈而算力仍可接受的模型。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch流水线并行

自动平衡

流水线分区不能只按层数平均切,而要按时间或显存 profile 找平衡点。torchgpipe.balance 用 profile 测量资源占用来计算分区,让各分区资源差别尽量小。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch流水线并行

显式依赖

流水线并行会打乱原本线性的反向顺序,PyTorch 自动求导并不知道微批量之间的时间约束。Fork/Join 用空张量制造显式依赖,把调度规则写进计算图。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch流水线并行

流并行通信

流水线吞吐依赖通信隐藏:上一个微批量传输时,下一个微批量应继续计算。torchgpipe 通过非默认 CUDA 流让复制和计算并行发射,只有真正数据依赖处才等待。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PipeDream之基础架构

一前一后

1F1B 把流水线调度从“先全前向再全反向”改成“一个前向接一个反向”。它缩短激活存活时间,让每个 stage 更早释放内存,同时保持设备持续忙碌。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PipeDream之基础架构

Profile分区

PipeDream 的分区不是拍脑袋切层,而是先 profile 每层计算时间、输出大小和参数大小,再结合拓扑、带宽、Worker 与内存约束做优化。测量把调度从经验变成可计算问题。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PipeDream之基础架构

动态规划切层

流水线分区目标是让最慢 stage 尽量快,因为吞吐被瓶颈 stage 决定。PipeDream 把这个问题建成有最优子结构的动态规划,输出 stage 划分和复制因子。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PipeDream之基础架构

模型转换

PipeDream 的模型转换把抽象分区落成可执行代码:同一 stage 的算子被打包成独立 torch.nn.Module,同时保持原模型输入输出依赖。自动并行最终必须回到可部署模块。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PipeDream之动态逻辑

Runtime职责

流水线 Runtime 负责把静态切分真正跑起来:加载每个 stage 的模块,建立 rank、通信、生产者消费者关系,并按调度执行训练。没有 Runtime,分区结果只是一张不会流动的图。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PipeDream之动态逻辑

生产者消费者

PipeDream 的生产者/消费者关系把跨 stage 数据流显式化:每个张量知道从哪个 rank 来、发往哪个 rank。流水线训练并不是简单排队,而是在运行时维护一张分布式计算图。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PipeDream之动态逻辑

权重版本治理

流水线异步会制造权重版本不一致。Weight Stashing 保证同一微批量的前向和反向用同一版本,Vertical Sync 再约束跨 stage 版本漂移。吞吐提升必须配套版本治理,否则收敛会被破坏。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · Megatron

张量并行

张量模型并行是层内切分:不是把层分给不同机器,而是把一个矩阵乘或 Transformer 子层拆到多个 GPU 上共同算。它解决单层参数或激活太大时,流水线按层切仍不够的问题。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · Megatron

列行线性层

Megatron 的 MLP 切分利用矩阵乘的结合关系:ColumnParallelLinear 处理 H 到 4H 的列切分,RowParallelLinear 处理 4H 到 H 的行切分,中间省掉不必要通信。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · Megatron

并行组组合

Megatron 同时维护模型并行组和数据并行组:前者共同持有一个模型切片集合,后者在相同位置上做梯度归约。大模型训练的关键是让通信范围匹配参数共享范围。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch如何实现模型并行

RPC像本地调用

RPC 的抽象目标是让远程函数像本地函数一样被调用,但系统仍要处理对象引用、跨节点通信、自动求导和参数更新。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch如何实现模型并行

求导上下文

分布式自动求导上下文为一次跨节点反向传播提供全局身份。梯度不再安全地落在张量 .grad 里,而要按 context 隔离累积,否则多个分布式 backward 会互相污染。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch如何实现模型并行

GraphTask执行

GraphTask 是反向传播执行的资源账本:它记录节点依赖、等待队列和未完成任务数,决定哪个求导节点可以运行。分布式引擎扩展的不是求导公式,而是这套依赖调度。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式优化器

本地子模型优化

模型并行优化器必须跟随参数所在位置:哪个节点持有哪段模块,哪个本地优化器就更新哪段参数。它更像分布式所有权管理,而不是简单把梯度平均。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 2836 流水线并行 主题成员 分布式机器学习:系统、工程与实战 · GPipe 理解等级:未标注
    • 2836.a 微批量累积 主题成员 分布式机器学习:系统、工程与实战 · GPipe 理解等级:未标注
    • 2836.b 重计算换内存 主题成员 分布式机器学习:系统、工程与实战 · GPipe 理解等级:未标注
  • 展开或收起下级: 2837 自动平衡 主题成员 分布式机器学习:系统、工程与实战 · PyTorch流水线并行 理解等级:未标注
    • 2837.a 显式依赖 主题成员 分布式机器学习:系统、工程与实战 · PyTorch流水线并行 理解等级:未标注
    • 2837.b 流并行通信 主题成员 分布式机器学习:系统、工程与实战 · PyTorch流水线并行 理解等级:未标注
  • 展开或收起下级: 2838 一前一后 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之基础架构 理解等级:未标注
    • 2838.a Profile分区 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之基础架构 理解等级:未标注
    • 2838.b 动态规划切层 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之基础架构 理解等级:未标注
    • 2838.c 模型转换 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之基础架构 理解等级:未标注
  • 展开或收起下级: 2839 Runtime职责 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之动态逻辑 理解等级:未标注
    • 2839.a 生产者消费者 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之动态逻辑 理解等级:未标注
    • 2839.b 权重版本治理 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之动态逻辑 理解等级:未标注
  • 展开或收起下级: 2840 张量并行 主题成员 分布式机器学习:系统、工程与实战 · Megatron 理解等级:未标注
    • 2840.a 列行线性层 主题成员 分布式机器学习:系统、工程与实战 · Megatron 理解等级:未标注
    • 2840.b 并行组组合 主题成员 分布式机器学习:系统、工程与实战 · Megatron 理解等级:未标注
  • 展开或收起下级: 2841 RPC像本地调用 主题成员 分布式机器学习:系统、工程与实战 · PyTorch如何实现模型并行 理解等级:未标注
    • 2841.a 求导上下文 主题成员 分布式机器学习:系统、工程与实战 · PyTorch如何实现模型并行 理解等级:未标注
    • 2841.b GraphTask执行 主题成员 分布式机器学习:系统、工程与实战 · PyTorch如何实现模型并行 理解等级:未标注
  • 展开或收起下级: 2842 优化器分类 路径上下文 分布式机器学习:系统、工程与实战 · 分布式优化器 理解等级:未标注
    • 2842.b 本地子模型优化 主题成员 分布式机器学习:系统、工程与实战 · 分布式优化器 理解等级:未标注

来源书籍

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

分布式机器学习训练

比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。

80 张卡片 · 6 本书

主题索引

训练并行策略

数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。

58 张卡片 · 3 本书