知识卡片
专家并行的通信瓶颈
为什么通信成了主角 MoE 把专家分散到不同设备,词元必须被送到持有目标专家的设备上,再把结果送回来,这是一次全互换(All-to-All)。节点内走高速互联,跨节点走普通网络,带宽差异很大;一旦某个专家成为热点,链路就会拥塞,算力再强也只能等数据。
两处额外成本 - 路由本身要计算:专家越多,打分与排序的开销越大,还可能形成网络热点。 - 通信是同步点:全互换把一批词元的完成时间绑在最慢的那条链路上,尾延迟直接吃掉吞吐。
SMILE 的双层路由 按网状拓扑把专家分成两级:同一节点内的专家算一组,词元先路由到节点,再在节点内调度到具体 GPU。跨节点流量因此显著减少,把“全局全互换”降级为“先粗后细”的两跳,缓解拥塞。这是“让通信拓扑参与路由设计”的典型思路。
启发 评估 MoE 不能只算 FLOPs:参数量相同、算力相同,通信拓扑不同会带来完全不同的吞吐。稀疏化的收益上限,往往由互联带宽而非 GPU 决定。
结构图:
flowchart LR
A[词元批次] --> B[门控打分]
B --> C[按专家分配到设备]
C --> D[节点内全互换]
C --> E[跨节点全互换]
D --> F[本地专家计算]
E --> G[远端专家计算]
F --> H[结果回传并合并]
G --> H
B --> I[双层路由先选节点]
I --> D
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 稀疏专家模型 · 查看原书依据
首先,这些模型的节点内和节点间数据交换都依赖于All2All通信集合体。这意味着节点之间的通信以全互换(All-to-All)的方式进行,而由于通信通道的异构带宽,这种通信方式的效率很低。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml)
- 结论依据:原文该段以「首先,这些模型的节点内和节点间数据交换都依赖于All2All通信集合…」为中心展开,本卡的核心判断「为什么通信成了主角 MoE 把专家分散到不同设备,词元必须被送到持有目标专家的设」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:首先,这些模型的节点内和节点间数据交换都依赖于All2All通信集合体。这意味着节点之间的通信以全互换(All-to-All)的方式进行,而由于通信通道的异构带宽,这种通信方式的效率很低。