知识卡片
流水线并行与气泡
流水线并行(PP)按层切:把连续的层块放到不同卡上,前向逐段传激活,反向逐段回传梯度。通信是点对点,比集合通信便宜,适合跨机大规模训练。问题是顺序依赖造成“气泡”——后面的卡要等前面的卡算完,朴素切分下利用率极低。
解法:把批次拆成多个微批次灌入流水线,让不同卡同时处理不同微批次,用计算填满等待。
| 方法 | 调度要点 | 气泡 | 显存 | | GPipe | 一次注入全部微批次,全前向后全反向 | 大 | 随微批次数线性增长 | | Dapple | 提前排反向,尽早释放激活 | 与 GPipe 相同 | 峰值更低 | | 1F1B | 一前一后交替,稳态填充 | 小 | 中等 | | Chimera | 双向两条流水线互补填谷 | 更小 | 每卡存两份权重 | | 交错 1F1B | 每卡放多个模型块,虚拟阶段 | 最小 | 通信增加 |
选择依据:气泡比例取决于微批次数与阶段数之比,微批次数要远大于阶段数才能填满;同时要平衡各阶段负载,最慢阶段决定整体。流水线还有个隐性代价:各阶段要保存的激活数量不同,靠前的卡压力最大,微批次大小要迁就它。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
在将大型模型划分为连续层时,每一层的输入和输出之间的相互依赖性会导致非活动期。在非活动期中,工作站必须等待前一台设备的输出。这些不活跃的时期称为“气泡”,会导致闲置机器可利用的计算能力损失。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「在将大型模型划分为连续层时,每一层的输入和输出之间的相互依赖性会导致…」为中心展开,本卡的核心判断「流水线并行(PP)按层切:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:在将大型模型划分为连续层时,每一层的输入和输出之间的相互依赖性会导致非活动期。在非活动期中,工作站必须等待前一台设备的输出。这些不活跃的时期称为“气泡”,会导致闲置机器可利用的计算能力损失。