知识卡片
并行切分维度全景
这张图把并行拆成四条互相正交的切分轴,每条轴对应一种通信代价。看懂它们,就能读懂任何多维并行配置,例如张量并行 8 路、流水线 4 段、数据并行 16 路叠在一起。
四个维度:数据并行切批次,模型副本不变,代价是每步一次梯度全归约;流水线并行切层,代价是阶段间的点对点激活传输,收益是通信便宜但会产生气泡;张量并行切层内矩阵,代价是每层的全收集与全归约,通信最频繁,因此通常限制在机内;序列并行切序列长度,模型复制、只切激活,代价是注意力所需的额外通信。
怎么组合:先看瓶颈。参数装不下优先张量并行、流水线或 ZeRO;激活装不下优先序列并行、重计算或卸载;吞吐不够优先数据并行。再看拓扑:通信最密的放机内高带宽域,通信稀疏的跨机。图中最后一个分支是显存不足时的补充手段,它与前四轴正交,可以同时使用。
常见误读:并行度越高不一定越快,每种切分都会引入新的通信或气泡,扩大规模前应先估通信量与计算量的比值。
结构图:
flowchart TD
A[大模型训练任务] --> B[数据并行 切批次]
A --> C[流水线并行 切层]
A --> D[张量并行 切层内矩阵]
A --> E[序列并行 切序列长度]
A --> J[ZeRO 重计算 卸载]
B --> F[梯度全归约]
C --> G[点对点传激活]
D --> H[全收集与全归约]
E --> I[环自注意力换嵌入]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
例如,数据并行涉及在不同的GPU上运行批处理的不同子集,流水线并行则将模型的不同层划分到不同的GPU上,而张量并行则将单个操作(如矩阵乘法)的计算拆分到多个GPU上。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「例如,数据并行涉及在不同的GPU上运行批处理的不同子集,流水线并行则…」为中心展开,本卡的核心判断「这张图把并行拆成四条互相正交的切分轴,每条轴对应一种通信代价。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:例如,数据并行涉及在不同的GPU上运行批处理的不同子集,流水线并行则将模型的不同层划分到不同的GPU上,而张量并行则将单个操作(如矩阵乘法)的计算拆分到多个GPU上。