← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.845Z

G(x)给出。我们用T表示选定的top-k个专家指数集合。该层的输出计算是每个专家通过阈值对该词元的计算的线性加权组合。

为了避免门控网络在任何时候都偏向于少数占优势的专家,从而导致自我强化效应,Shazeer et al(2017)以额外重要性损失的形式提出了一种软约束,鼓励所有专家拥有相等的权重。

这是通过使用每个专家的按批次平均值的变异系数(coefficient of variation)的平方来实现的。 其中,

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d