知识卡片
一进程一卡的数据并行
PyTorch 的 DDP 把”多卡训练”组织成”每张 GPU 一个进程”,而不是一个进程轮流切换设备。每个进程持有一份完整的模型副本,各自吃不同的数据分片,独立完成前向与反向;反向后通过通信把各卡梯度汇总平均,使副本参数保持一致。
两个参数贯穿全局:rank 是进程编号,0 号通常作主进程负责协调;world_size 是进程总数,一般等于参与训练的 GPU 数。原文的示例在 init_process_group 里同时指定两者,随后用 multiprocessing 为每个 rank 拉起一个进程,结束时 destroy_process_group 清理。
这样组织带来一个容易被误读的现象:日志按进程分开打印。原文输出里同一个 step 出现 Rank 0 和 Rank 1 两行 loss,数值还不一样,这不是重复训练,而是两张卡各自在不同数据上的即时损失。否则容易把正常的多进程输出当成异常。
权衡在于显存与通信:每卡放的是完整模型而非切片,模型越大单卡越吃紧;好处是通信量只有梯度,扩展性优于参数服务器式方案。batch_size 的含义也随之改变:它是每卡批量,全局批量等于每卡批量乘以 world_size。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型训练实战 · 查看原书依据
配置大规模预训练模型的多GPU和多节点分布式训练环境,通常需要一系列的设置步骤。下面将逐步讲解如何使用PyTorch的分布式数据并行(Distributed Data Parallel,DDP)模块来设置和启动大规模模型的训练。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0002.xhtml)
- 结论依据:原文说明 DDP 通过在每个 GPU 上启动一个模型副本来利用多卡资源,并用 rank、world_size 初始化进程组,运行结果按 rank 分别输出 loss。
- 原始内容:配置大规模预训练模型的多GPU和多节点分布式训练环境,通常需要一系列的设置步骤。下面将逐步讲解如何使用PyTorch的分布式数据并行(Distributed Data Parallel,DDP)模块来设置和启动大规模模型的训练。