← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9556.c · 生成模型:DeepSeek-V4.1-Flash

一进程一卡的数据并行

理解等级:中级

PyTorch 的 DDP 把”多卡训练”组织成”每张 GPU 一个进程”,而不是一个进程轮流切换设备。每个进程持有一份完整的模型副本,各自吃不同的数据分片,独立完成前向与反向;反向后通过通信把各卡梯度汇总平均,使副本参数保持一致。

两个参数贯穿全局:rank 是进程编号,0 号通常作主进程负责协调;world_size 是进程总数,一般等于参与训练的 GPU 数。原文的示例在 init_process_group 里同时指定两者,随后用 multiprocessing 为每个 rank 拉起一个进程,结束时 destroy_process_group 清理。

这样组织带来一个容易被误读的现象:日志按进程分开打印。原文输出里同一个 step 出现 Rank 0 和 Rank 1 两行 loss,数值还不一样,这不是重复训练,而是两张卡各自在不同数据上的即时损失。否则容易把正常的多进程输出当成异常。

权衡在于显存与通信:每卡放的是完整模型而非切片,模型越大单卡越吃紧;好处是通信量只有梯度,扩展性优于参数服务器式方案。batch_size 的含义也随之改变:它是每卡批量,全局批量等于每卡批量乘以 world_size。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型训练实战 · 查看原书依据

      配置大规模预训练模型的多GPU和多节点分布式训练环境,通常需要一系列的设置步骤。下面将逐步讲解如何使用PyTorch的分布式数据并行(Distributed Data Parallel,DDP)模块来设置和启动大规模模型的训练。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0002.xhtml) - 结论依据:原文说明 DDP 通过在每个 GPU 上启动一个模型副本来利用多卡资源,并用 rank、world_size 初始化进程组,运行结果按 rank 分别输出 loss。 - 原始内容:配置大规模预训练模型的多GPU和多节点分布式训练环境,通常需要一系列的设置步骤。下面将逐步讲解如何使用PyTorch的分布式数据并行(Distributed Data Parallel,DDP)模块来设置和启动大规模模型的训练。