← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9657.a · 生成模型:DeepSeek-V4.1-Flash

数据并行的梯度汇总

理解等级:中级

数据并行是当今多卡训练的默认做法:每张卡持有一份完整的模型副本,把一个小批量切成若干微批量各算一份,然后汇总梯度、更新权重,进入下一轮。

它的优势是真正并行——卡与卡之间没有前后依赖,吞吐随卡数上升,代码改动也最小。代价有两个硬约束:一是每张卡都要放下完整模型,还要放下优化器状态(Adam 的一阶、二阶矩与参数同量级),模型稍大就会显存不足;二是每步都要做梯度同步,卡越多通信越重,扩展性会逐渐变差。

使用边界很清楚:模型能装进单卡、想提高吞吐时选它;模型装不下时它直接失效,必须转向模型并行或张量并行。另外,梯度汇总后等价于用更大的批量更新,学习率与批量的匹配需要重新调,否则收敛行为会变。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第7讲 多GPU训练模式(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml) - 结论依据:原文 7.1.2 节说明微批量划分、每卡完整模型副本与梯度汇总更新,并指出模型大到放不进显存时数据并行不可用;练习 7-1 提示优化器状态也占显存。 - 原始内容:在该模式下,我们会将小批量数据划分成更小的微批量数据,然后让每个GPU分别处理一个微批量数据,并计算模型权重的损失和梯度。