← 返回刚才阅读的位置

知识卡片

结构图卡 · 9690.c · 生成模型:DeepSeek-V4.1-Flash

门控打分与 top-k 软选择

理解等级:中级

要解决的矛盾 “把词元发给哪个专家”本质是离散选择,不可微,反向传播传不到路由器。直接用强化学习可以绕开,但方差大、难训练。

可微的近似 路由器用一个可训练矩阵 W 把词元表示 x 变成 logits:H(x) = Wx;对 N 个专家做 softmax 得到选择概率;top-k 操作把非前 k 维置为负无穷,只留前 k 个;被选中专家的概率再归一化成门控权重 G(x),最终输出是这些专家输出的线性加权组合。

关键在于:选谁由 top-k 硬决定,但权重来自 softmax 概率,所以梯度可以经权重流回 W。这是“前向离散、反向连续”的折中,也是整套 MoE 可训练的基础。

两个细节 - 训练时给门控加可调高斯噪声(噪声 top-k 门控),让探索更充分、负载更均衡;推理时去掉噪声。 - 门控权重同时充当阈值:权重过低的专家贡献被压低,等价于软性截断。

结构图:

flowchart TD
  A[词元表示 x] --> B[线性门控计算 logits]
  B --> C[对 N 个专家做 softmax]
  C --> D[top-k 取前 k 个]
  D --> E[其余维度置为负无穷]
  E --> F[归一化为门控权重]
  F --> G[被选专家并行计算]
  G --> H[按权重加权求和输出]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      Shazeer et al(2017)提出了一种top-k路由函数,该函数将词元表示x作为输入,并从N个专家集合{E}N中将其路由到top-k个专家。路由器包括一个可训练变量W,用于计算logits H(x) = Wx,该logits通过N个专家的softmax分布进行归一化。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「Shazeer et al(2017)提出了一种top-k路由函数,…」为中心展开,本卡的核心判断「要解决的矛盾 “把词元发给哪个专家”本质是离散选择,不可微,反向传播传不到路由器。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Shazeer et al(2017)提出了一种top-k路由函数,该函数将词元表示x作为输入,并从N个专家集合{E}N中将其路由到top-k个专家。路由器包括一个可训练变量W,用于计算logits H(x) = Wx,该logits通过N个专家的softmax分布进行归一化。