知识卡片

普通读书笔记卡 · 9657 · 生成模型:DeepSeek-V4.1-Flash

模型并行与张量并行

理解等级:中级

两者都为了解决模型装不进一张卡的问题,但切的对象不同。

模型并行(操作间并行)按层切:第 1 层放 GPU1,第 2 层放 GPU2,依此类推。数据沿链式路径依次流过设备,GPU2 必须等 GPU1 算完才能开工,于是并行度被依赖关系吃掉,整体速度接近串行加上通信开销。它直观、实现简单,是最后的兜底方案。

张量并行(操作内并行)切的是矩阵本身:把权重和激活按行或列拆开,矩阵乘法分片到多卡上同时算,再用通信把结果拼回去。这样设备之间没有顺序依赖,可以真正并行,效率明显更高。

代价落在通信上:张量并行几乎每层都要同步参数与部分结果,互联带宽不足时收益会被通信吞掉;模型并行则主要输在利用率。实践中两者常与数据并行组合使用,而理解它们的关键,是分清切层带来依赖、切矩阵带来通信。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 多GPU训练模式 · 查看原书依据

      在张量并行中,我们将权重和激活矩阵拆分到各个设备上,而非将不同的模型层分散到各个设备上。矩阵拆分使得我们能将矩阵乘法分布到多个GPU上执行。

    参考来源

    - 位置:《大模型技术30讲》第7讲 多GPU训练模式(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml) - 结论依据:原文 7.1.1 与 7.1.3 节分别说明模型并行的链式依赖瓶颈、张量并行的矩阵行列拆分与通信开销,并在 7.2 节给出装不下时优先张量并行的建议。 - 原始内容:在张量并行中,我们将权重和激活矩阵拆分到各个设备上,而非将不同的模型层分散到各个设备上。矩阵拆分使得我们能将矩阵乘法分布到多个GPU上执行。