原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
,尽管幅度不大。 7.2.2 每个专家选择top-k个词元 典型的MoE方法依赖于词元选择top-k(k≥1)个专家,而
专家选择(Expert Choice,EC)(Zhou et al,2022b)则引入了一种新的机制,使每个专家都能选择top-k个词元。这种方法可确保每个专家具有预先确定的规模,而且每个词元都可以分配给多个专家。
因此,专家选择方法实现了最佳的负载均衡,每个词元可容纳不同数量的专家,并显著提高了训练效率和下游的性能。 n×d 当有e
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d