← 返回刚才阅读的位置

知识卡片

结构图卡 · 9690.k · 生成模型:DeepSeek-V4.1-Flash

专家并行的通信瓶颈

理解等级:高级

为什么通信成了主角 MoE 把专家分散到不同设备,词元必须被送到持有目标专家的设备上,再把结果送回来,这是一次全互换(All-to-All)。节点内走高速互联,跨节点走普通网络,带宽差异很大;一旦某个专家成为热点,链路就会拥塞,算力再强也只能等数据。

两处额外成本 - 路由本身要计算:专家越多,打分与排序的开销越大,还可能形成网络热点。 - 通信是同步点:全互换把一批词元的完成时间绑在最慢的那条链路上,尾延迟直接吃掉吞吐。

SMILE 的双层路由 按网状拓扑把专家分成两级:同一节点内的专家算一组,词元先路由到节点,再在节点内调度到具体 GPU。跨节点流量因此显著减少,把“全局全互换”降级为“先粗后细”的两跳,缓解拥塞。这是“让通信拓扑参与路由设计”的典型思路。

启发 评估 MoE 不能只算 FLOPs:参数量相同、算力相同,通信拓扑不同会带来完全不同的吞吐。稀疏化的收益上限,往往由互联带宽而非 GPU 决定。

结构图:

flowchart LR
  A[词元批次] --> B[门控打分]
  B --> C[按专家分配到设备]
  C --> D[节点内全互换]
  C --> E[跨节点全互换]
  D --> F[本地专家计算]
  E --> G[远端专家计算]
  F --> H[结果回传并合并]
  G --> H
  B --> I[双层路由先选节点]
  I --> D
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      首先,这些模型的节点内和节点间数据交换都依赖于All2All通信集合体。这意味着节点之间的通信以全互换(All-to-All)的方式进行,而由于通信通道的异构带宽,这种通信方式的效率很低。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「首先,这些模型的节点内和节点间数据交换都依赖于All2All通信集合…」为中心展开,本卡的核心判断「为什么通信成了主角 MoE 把专家分散到不同设备,词元必须被送到持有目标专家的设」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:首先,这些模型的节点内和节点间数据交换都依赖于All2All通信集合体。这意味着节点之间的通信以全互换(All-to-All)的方式进行,而由于通信通道的异构带宽,这种通信方式的效率很低。