知识卡片
张量并行切矩阵
张量并行(TP)在层内切:把权重矩阵分块放到不同卡上,各卡计算矩阵乘的一部分再合并。它切的是宽度而非深度,因此没有气泡,所有卡始终在算;代价是每层都要通信,而且是阻塞式集合通信。
Megatron 的列行配对:MLP 的两层矩阵乘一列一行配对。第一层按列切,各卡得到部分激活,过 GeLU 无需通信;第二层按行切,各卡算出部分和,最后一次全归约得到完整输出。注意力按头切查询、键、值,输出投影同理。通信模式是前向一次全收集、反向一次全归约,而参数梯度的计算本身不需要通信。
为什么常限制在机内:每层都同步,通信量与激活同阶,跨机带宽不足时收益骤降。进阶:2D、2.5D、3D 张量并行把张量按网格或立方体切分,设备数很大时通信量更低、内存冗余为零,也更容易与流水线组合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
在模型并行中,需要两种类型的通信——全收集操作(确保所有处理器都接收前向传递的所有激活)和全归约操作(通过聚合输入梯度反向传递激活梯度)。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「在模型并行中,需要两种类型的通信——全收集操作(确保所有处理器都接收…」为中心展开,本卡的核心判断「张量并行(TP)在层内切:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:在模型并行中,需要两种类型的通信——全收集操作(确保所有处理器都接收前向传递的所有激活)和全归约操作(通过聚合输入梯度反向传递激活梯度)。