原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
l(2021)证明,使用top1路由可以获得有竞争力的结果,这一发现后来得到Clark et al(2022a)的支持。
Switch Transformer(Fedus et al,2021)通过利用稀疏开关前馈网络层,使模型能够扩展到数万亿个参数,其中每个输入只路由到一个专家网络,取代了稠密前馈网络层。
为了平衡工作负载,该模型采用了一个辅助损失函数,其中,n代表专家数量,f代表路由到第i个专家的词元比例,p表示门控网络为
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d