← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9552.e · 生成模型:DeepSeek-V4.1-Flash

DDP各进程算梯度再同步

理解等级:中级

分布式数据并行的封装层采用”多进程、各算各的、只同步梯度”的方式。每个进程持有完整的模型副本和自己的数据分片,独立完成前向与反向,得到本地梯度;反向传播结束时,框架对所有进程的梯度做一次归约,使各副本拿到相同的梯度,再各自执行一次完全相同的参数更新,从而保证副本之间不会漂移。

由于同步只发生在梯度这一层,前向和反向的算力真正被并行使用,通信量与参数量成正比、与批次数无关。日志中两个进程的损失不同,说明它们处理的是不同数据;参数始终一致,说明同步生效——这两条现象可以当作分布式训练是否正常工作的快速判据。

与单进程多卡的数据并行相比,差别在于进程模型:后者只有一个进程,靠多线程分发子批次,梯度要汇总回主卡再广播;前者每个进程独立,不存在主卡汇总这一跳。进程数、卡数、批次大小三者的关系需要事先算清,否则全局批次会随进程数悄悄放大。参见 [[分布式训练的五步骨架]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0002.xhtml) - 结论依据:原文指出训练循环中各进程分别计算损失并反向传播,封装层自动同步梯度以保证参数更新一致,示例输出的各进程损失不同而训练同步。 - 原始内容:(4)训练循环:在每个训练批次中,将数据分配至对应的GPU,计算损失并进行反向传播,同时DDP自动同步梯度,确保参数更新一致。