知识卡片

普通读书笔记卡 · 9552.c · 生成模型:DeepSeek-V4.1-Flash

分布式训练的五步骨架

理解等级:中级

分布式数据并行训练有一套固定骨架,缺一步就跑不起来。顺序如下:

  1. 初始化进程组:指定通信后端、主节点地址与端口、总进程数,每个进程再按自己的全局编号认领一张卡。这一步建立的是进程间的通信信道,不是模型。
  2. 切分数据:用分布式采样器把数据集划给各进程,保证同一轮内没有两个进程看到同一条样本。
  3. 包装模型:模型先放到本进程对应的设备上,再包一层分布式数据并行封装,此后反向结束时会自动触发梯度同步。
  4. 训练循环:各进程独立前向、独立反向,同步只发生在梯度就绪之后,因此日志里各进程的损失略有差异是正常的。
  5. 清理:训练结束销毁进程组,释放通信资源。

顺序不能颠倒——采样器依赖进程组分配的编号,封装依赖模型已在正确设备上。这套骨架的意义在于把”并行”收敛成一条可复用的模板:换数据集、换模型只需替换第 2、3 步的对象,通信逻辑不变。参见 [[分布式采样器切分数据]] 与 [[DDP各进程算梯度再同步]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0002.xhtml) - 结论依据:原文概括分布式训练的核心步骤为初始化进程、设置环境、划分数据与模型、计算梯度、同步参数与更新模型,并逐条对应示例代码。 - 原始内容:分布式训练是一种在多个设备(如GPU或节点)上并行进行模型训练的方法,适用于大型深度学习任务。它通过划分数据、同步梯度和更新参数,实现更高效的训练流程。