← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9689.n · 生成模型:DeepSeek-V4.1-Flash

张量并行切矩阵

理解等级:高级

张量并行(TP)在层内切:把权重矩阵分块放到不同卡上,各卡计算矩阵乘的一部分再合并。它切的是宽度而非深度,因此没有气泡,所有卡始终在算;代价是每层都要通信,而且是阻塞式集合通信。

Megatron 的列行配对:MLP 的两层矩阵乘一列一行配对。第一层按列切,各卡得到部分激活,过 GeLU 无需通信;第二层按行切,各卡算出部分和,最后一次全归约得到完整输出。注意力按头切查询、键、值,输出投影同理。通信模式是前向一次全收集、反向一次全归约,而参数梯度的计算本身不需要通信。

为什么常限制在机内:每层都同步,通信量与激活同阶,跨机带宽不足时收益骤降。进阶:2D、2.5D、3D 张量并行把张量按网格或立方体切分,设备数很大时通信量更低、内存冗余为零,也更容易与流水线组合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      在模型并行中,需要两种类型的通信——全收集操作(确保所有处理器都接收前向传递的所有激活)和全归约操作(通过聚合输入梯度反向传递激活梯度)。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「在模型并行中,需要两种类型的通信——全收集操作(确保所有处理器都接收…」为中心展开,本卡的核心判断「张量并行(TP)在层内切:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在模型并行中,需要两种类型的通信——全收集操作(确保所有处理器都接收前向传递的所有激活)和全归约操作(通过聚合输入梯度反向传递激活梯度)。