知识卡片
数据并行与模型并行对比
两种并行切的是不同维度。数据并行保持模型完整,把批次切成子批次分给各卡,每张卡用完整模型算自己那份梯度,最后汇总统一更新——它扩展的是吞吐,前提是单卡装得下整个模型。模型并行保持数据完整,把模型的层切成几段放到不同卡上,输入依次流过各段,反向再按相反顺序回流——它扩展的是可容纳的规模,代价是卡间要反复传递中间激活。
可以用餐厅打比方:数据并行是”分菜”,多个服务员各服务一部分顾客,最后汇总反馈;模型并行是”分工”,切菜、炒菜、蒸煮分在不同区域,按顺序传递半成品。
选择依据很直接:模型塞得进单卡就优先数据并行,因为通信只发生在梯度上且能与计算重叠;塞不进才用模型并行,实践中常与数据并行叠加。两者的共同约束是都不能出现串行瓶颈。参见 [[模型并行换容量不换速度]] 与 [[DDP各进程算梯度再同步]]。
结构图:
flowchart TB
B[批次切分] --> P1[GPU0 完整模型副本]
B --> P2[GPU1 完整模型副本]
P1 --> S[主卡汇总梯度]
P2 --> S
S --> U[统一更新参数]
L1[GPU0 前半层] --> L2[GPU1 后半层]
L2 --> O[输出结果]
D[整批数据] --> L1
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型性能优化:混合精度训练与分布式训练 · 查看原书依据
总而言之,Data Parallel是将数据分给每个GPU去“单独完成”,适合大批量数据,但要求每个GPU都能保存完整的模型;而Model Parallel是将模型拆开“分步完成”,适合超大模型,但需要协调数据在不同GPU之间的流动。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0002.xhtml)
- 结论依据:原文在对比两种方案时明确数据并行要求每个 GPU 保存完整模型、适合大批量数据,模型并行拆分模型、适合超大模型但需协调卡间数据流动。
- 原始内容:总而言之,Data Parallel是将数据分给每个GPU去“单独完成”,适合大批量数据,但要求每个GPU都能保存完整的模型;而Model Parallel是将模型拆开“分步完成”,适合超大模型,但需要协调数据在不同GPU之间的流动。