← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.845Z

rmer中,只有MoE层在多台机器上分片,而其他层是重复的。 GShard为门控函数G提出了如下改进设计。 ·专家规模:

为了确保专家不超负荷,对通过专家的词元数量设置了一个阈值。如果词元被路由到已达到一定规模的专家,那么该词元会被标记为“溢出”,门控输出将变为零向量。

·局部组调度:词元被平均分配到多个局部组,并在组级别强制执行专家规模。 ·辅助损失:与最初的MoE辅助损失类似,研究人员

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d