← 返回刚才阅读的位置

知识卡片

结构图卡 · 9657.b · 生成模型:DeepSeek-V4.1-Flash

流水线并行的微批量

理解等级:高级

流水线并行是模型并行的高阶版本:模型仍按层切成若干阶段放在不同 GPU 上,但不再一次只送一个批量,而是把小批量切成微批量,像工厂流水线一样连续灌入。

关键在于反向传播也要利用起来:前向时激活值沿阶段向下传,反向时梯度沿阶段往回传,这样设备在别人计算时也有活干,空闲被压缩。它借鉴了数据并行的微批量思路,因此被作者称为两类模式的高阶混合。

它的天花板是流水气泡:流水线填充和排空阶段,总有设备在等,气泡比例取决于微批量数量与阶段数之比。此外,阶段划分、微批量大小、通信与重计算策略都要人工设计,工程量不小;在小模型或通信开销高的环境下,收益甚至不如纯数据并行。

所以现代大模型更常见的组合是数据并行加张量并行,流水线并行多用于跨节点、层数很深的场景。

结构图:

flowchart LR
  A[小批量切分为微批量] --> B[阶段1 放在GPU1]
  B --> C[阶段2 放在GPU2]
  C --> D[阶段3 放在GPU3]
  D --> E[损失与反向传播]
  F[下一微批量紧接着进入] --> B
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 多GPU训练模式 · 查看原书依据

      流水线并行与模型并行类似,会在前向传播时将激活值传递下去。其独特之处在于,在反向传播过程中,输入张量的梯度会被传回来,以防止设备空闲。

    参考来源

    - 位置:《大模型技术30讲》第7讲 多GPU训练模式(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml) - 结论依据:原文 7.1.4 节说明流水线并行在前向传激活、反向回传梯度以减少设备空闲,并指出气泡、编排成本与大模型更常混用数据并行和张量并行的实践倾向。 - 原始内容:流水线并行与模型并行类似,会在前向传播时将激活值传递下去。其独特之处在于,在反向传播过程中,输入张量的梯度会被传回来,以防止设备空闲。