原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
rmer中,只有MoE层在多台机器上分片,而其他层是重复的。 GShard为门控函数G提出了如下改进设计。 ·专家规模:
为了确保专家不超负荷,对通过专家的词元数量设置了一个阈值。如果词元被路由到已达到一定规模的专家,那么该词元会被标记为“溢出”,门控输出将变为零向量。
·局部组调度:词元被平均分配到多个局部组,并在组级别强制执行专家规模。 ·辅助损失:与最初的MoE辅助损失类似,研究人员
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d