知识卡片

普通读书笔记卡 · 9552.g · 生成模型:DeepSeek-V4.1-Flash

模型并行换容量不换速度

理解等级:中级

模型并行的收益是容量,不是速度。它把网络按层切开放在不同设备上,前向时数据必须依次经过每一段,后一段要等前一段算完并把中间结果传过来;反向时顺序相反。这意味着在任一时刻,大部分设备处于等待状态,真正占用算力的只有正在处理当前那一段的卡。

再加上中间激活要在卡间来回搬运,通信开销随切分点增多而上升,因此它的训练加速通常不如数据并行明显。它的价值在于让”单卡放不下”的模型变得可训练:把占显存最大的部分(例如大型全连接层或卷积层)挪到另一张卡,就能绕开显存上限。

实践中要注意切分位置的选择——切在激活值大的地方会放大传输量,切得太碎会让等待时间盖过计算时间。还有一点容易被忽略:前向的中间结果必须保留到反向用完,显存节省并不等于把模型对半砍。

因此判断标准不是”哪个更快”,而是”模型装不装得下”:装得下选数据并行,装不下才付出串行与通信的代价换容量。参见 [[数据并行与模型并行对比]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0002.xhtml) - 结论依据:原文说明模型并行把不同层分到多个 GPU、输入依次通过并在前后向保持顺序,同时指出其缺点是卡间频繁传输、通信开销较大,速度提升不如数据并行明显。 - 原始内容:Model Parallel方案适用于模型过大以至于无法在单个GPU上完整加载的情况,它将模型的不同层或部分划分到多个GPU上分别处理。这样,输入数据可以依次通过各个GPU上的模型部分,并在前向与反向传播过程中保持顺序。