知识卡片
流水线并行的微批量
流水线并行是模型并行的高阶版本:模型仍按层切成若干阶段放在不同 GPU 上,但不再一次只送一个批量,而是把小批量切成微批量,像工厂流水线一样连续灌入。
关键在于反向传播也要利用起来:前向时激活值沿阶段向下传,反向时梯度沿阶段往回传,这样设备在别人计算时也有活干,空闲被压缩。它借鉴了数据并行的微批量思路,因此被作者称为两类模式的高阶混合。
它的天花板是流水气泡:流水线填充和排空阶段,总有设备在等,气泡比例取决于微批量数量与阶段数之比。此外,阶段划分、微批量大小、通信与重计算策略都要人工设计,工程量不小;在小模型或通信开销高的环境下,收益甚至不如纯数据并行。
所以现代大模型更常见的组合是数据并行加张量并行,流水线并行多用于跨节点、层数很深的场景。
结构图:
flowchart LR
A[小批量切分为微批量] --> B[阶段1 放在GPU1]
B --> C[阶段2 放在GPU2]
C --> D[阶段3 放在GPU3]
D --> E[损失与反向传播]
F[下一微批量紧接着进入] --> B
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 多GPU训练模式 · 查看原书依据
流水线并行与模型并行类似,会在前向传播时将激活值传递下去。其独特之处在于,在反向传播过程中,输入张量的梯度会被传回来,以防止设备空闲。
参考来源
- 位置:《大模型技术30讲》第7讲 多GPU训练模式(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml)
- 结论依据:原文 7.1.4 节说明流水线并行在前向传激活、反向回传梯度以减少设备空闲,并指出气泡、编排成本与大模型更常混用数据并行和张量并行的实践倾向。
- 原始内容:流水线并行与模型并行类似,会在前向传播时将激活值传递下去。其独特之处在于,在反向传播过程中,输入张量的梯度会被传回来,以防止设备空闲。