原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
,这就为路由器产生了梯度。 根据输入选择专家通常涉及离散选择,这使得依赖可微分性的反向传播算法复杂化。为了应对这一挑战,
Shazeer et al(2017)提出了一种top-k路由函数,该函数将词元表示x作为输入,并从N个专家集合{E}N中将其路由到top-k个专家。路由器包括一个可训练变量W,用于计算logits H(x) = Wx,该logits通过N个专家的softmax分布进行归一化。
此外,路由器还加入了一个名为“噪声top-k门控”的功能,通过引入可调高斯噪声来加强负载均衡。这项技术有助于实现更均衡的
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d