← 返回刚才阅读的位置

知识卡片

结构图卡 · 9552.f · 生成模型:DeepSeek-V4.1-Flash

数据并行与模型并行对比

理解等级:中级

两种并行切的是不同维度。数据并行保持模型完整,把批次切成子批次分给各卡,每张卡用完整模型算自己那份梯度,最后汇总统一更新——它扩展的是吞吐,前提是单卡装得下整个模型。模型并行保持数据完整,把模型的层切成几段放到不同卡上,输入依次流过各段,反向再按相反顺序回流——它扩展的是可容纳的规模,代价是卡间要反复传递中间激活。

可以用餐厅打比方:数据并行是”分菜”,多个服务员各服务一部分顾客,最后汇总反馈;模型并行是”分工”,切菜、炒菜、蒸煮分在不同区域,按顺序传递半成品。

选择依据很直接:模型塞得进单卡就优先数据并行,因为通信只发生在梯度上且能与计算重叠;塞不进才用模型并行,实践中常与数据并行叠加。两者的共同约束是都不能出现串行瓶颈。参见 [[模型并行换容量不换速度]] 与 [[DDP各进程算梯度再同步]]。

结构图:

flowchart TB
  B[批次切分] --> P1[GPU0 完整模型副本]
  B --> P2[GPU1 完整模型副本]
  P1 --> S[主卡汇总梯度]
  P2 --> S
  S --> U[统一更新参数]
  L1[GPU0 前半层] --> L2[GPU1 后半层]
  L2 --> O[输出结果]
  D[整批数据] --> L1
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0002.xhtml) - 结论依据:原文在对比两种方案时明确数据并行要求每个 GPU 保存完整模型、适合大批量数据,模型并行拆分模型、适合超大模型但需协调卡间数据流动。 - 原始内容:总而言之,Data Parallel是将数据分给每个GPU去“单独完成”,适合大批量数据,但要求每个GPU都能保存完整的模型;而Model Parallel是将模型拆开“分步完成”,适合超大模型,但需要协调数据在不同GPU之间的流动。