← 返回刚才阅读的位置

知识卡片

结构图卡 · 9689.u · 生成模型:DeepSeek-V4.1-Flash

并行切分维度全景

理解等级:高级

这张图把并行拆成四条互相正交的切分轴,每条轴对应一种通信代价。看懂它们,就能读懂任何多维并行配置,例如张量并行 8 路、流水线 4 段、数据并行 16 路叠在一起。

四个维度:数据并行切批次,模型副本不变,代价是每步一次梯度全归约;流水线并行切层,代价是阶段间的点对点激活传输,收益是通信便宜但会产生气泡;张量并行切层内矩阵,代价是每层的全收集与全归约,通信最频繁,因此通常限制在机内;序列并行切序列长度,模型复制、只切激活,代价是注意力所需的额外通信。

怎么组合:先看瓶颈。参数装不下优先张量并行、流水线或 ZeRO;激活装不下优先序列并行、重计算或卸载;吞吐不够优先数据并行。再看拓扑:通信最密的放机内高带宽域,通信稀疏的跨机。图中最后一个分支是显存不足时的补充手段,它与前四轴正交,可以同时使用。

常见误读:并行度越高不一定越快,每种切分都会引入新的通信或气泡,扩大规模前应先估通信量与计算量的比值。

结构图:

flowchart TD
  A[大模型训练任务] --> B[数据并行 切批次]
  A --> C[流水线并行 切层]
  A --> D[张量并行 切层内矩阵]
  A --> E[序列并行 切序列长度]
  A --> J[ZeRO 重计算 卸载]
  B --> F[梯度全归约]
  C --> G[点对点传激活]
  D --> H[全收集与全归约]
  E --> I[环自注意力换嵌入]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      例如,数据并行涉及在不同的GPU上运行批处理的不同子集,流水线并行则将模型的不同层划分到不同的GPU上,而张量并行则将单个操作(如矩阵乘法)的计算拆分到多个GPU上。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「例如,数据并行涉及在不同的GPU上运行批处理的不同子集,流水线并行则…」为中心展开,本卡的核心判断「这张图把并行拆成四条互相正交的切分轴,每条轴对应一种通信代价。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:例如,数据并行涉及在不同的GPU上运行批处理的不同子集,流水线并行则将模型的不同层划分到不同的GPU上,而张量并行则将单个操作(如矩阵乘法)的计算拆分到多个GPU上。