← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9689.p · 生成模型:DeepSeek-V4.1-Flash

ZeRO三阶段分片

理解等级:中级

数据并行的浪费在于每张卡都存一份完整状态。混合精度加 Adam 时,每个参数要存半精度权重与梯度、fp32 主权重、fp32 的一阶矩与二阶矩,合计约 16 字节;7B 模型光这些状态就上百 GB,远超单卡显存。而这些状态在数据并行组内本来就是重复的。

ZeRO 的思路:把状态按参数切片分给各卡,需要时用通信临时拼回。按切分深度分三阶段。

| 阶段 | 切什么 | 单卡状态量(相对基线) | | ZeRO-1 | 优化器状态 | 约四分之一 | | ZeRO-2 | 再加梯度 | 约八分之一 | | ZeRO-3 | 再加参数本身 | 约与并行度成反比 |

代价:每步多做全收集与归约分散,通信量上升,但可与计算重叠;阶段越深,通信越频繁。它与模型并行互补:ZeRO-3 相当于把参数也做成按需取用的分片,从而在不改模型代码的前提下训练单卡装不下的模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      一方面,基本型数据并行化无法扩展到单节点之外,从而导致冗余;另一方面,流水线并行和模型并行(将在后面介绍)需要大量重构模型代码。ZeRO是一种节省内存的数据并行形式,它仅在每个GPU上存储相互排斥的参数子集,从而消除训练过程中的冗余。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「一方面,基本型数据并行化无法扩展到单节点之外,从而导致冗余;另一方面…」为中心展开,本卡的核心判断「数据并行的浪费在于每张卡都存一份完整状态。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:一方面,基本型数据并行化无法扩展到单节点之外,从而导致冗余;另一方面,流水线并行和模型并行(将在后面介绍)需要大量重构模型代码。ZeRO是一种节省内存的数据并行形式,它仅在每个GPU上存储相互排斥的参数子集,从而消除训练过程中的冗余。