← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.845Z

,这就为路由器产生了梯度。 根据输入选择专家通常涉及离散选择,这使得依赖可微分性的反向传播算法复杂化。为了应对这一挑战,

Shazeer et al(2017)提出了一种top-k路由函数,该函数将词元表示x作为输入,并从N个专家集合{E}N中将其路由到top-k个专家。路由器包括一个可训练变量W,用于计算logits H(x) = Wx,该logits通过N个专家的softmax分布进行归一化。

此外,路由器还加入了一个名为“噪声top-k门控”的功能,通过引入可调高斯噪声来加强负载均衡。这项技术有助于实现更均衡的

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d