知识卡片
数据并行与梯度同步
数据并行(DP)是最简单的一种:每张卡保留完整模型副本,各自吃不同的数据子集,反向算出各自的梯度,更新前把所有卡的梯度求平均(全归约),使副本保持一致。
切什么:切批次,不切模型,因此与架构无关、改动最少。装不下就失效:单卡必须容纳参数、梯度与优化器状态(Adam 混合精度下每参数约 16 字节),装不下就只能转向模型并行或 ZeRO。
同步与异步的权衡
| 方式 | 更新时机 | 优点 | 代价 | | 同步 | 等所有卡交梯度 | 梯度最新、收敛稳 | 慢卡拖全局 | | 异步 | 谁算完谁更新 | 吞吐高、无等待 | 用到过时参数 | | 有界过时 | 允许旧参数但有上限 | 折中 | 上限难定 |
上限过大退化为完全异步,过小等同同步。异步可直接对等通信,也可经参数服务器集中聚合,后者在卡多时入口带宽成为瓶颈,因此现代实践多为同步加环全归约。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
在同步训练中,所有设备都使用来自单个小批次的不同数据部分来训练本地模型,然后将局部计算的梯度直接或间接传递给所有设备。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「在同步训练中,所有设备都使用来自单个小批次的不同数据部分来训练本地模…」为中心展开,本卡的核心判断「数据并行(DP)是最简单的一种:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:在同步训练中,所有设备都使用来自单个小批次的不同数据部分来训练本地模型,然后将局部计算的梯度直接或间接传递给所有设备。