原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
计,它可以在提高模型规模的同时,只引入少量计算开销。MoE层是MoE模型在深度神经网络中的扩展,近年来取得了显著的成功。
MoE层包含许多专家,它们共享相同的网络架构,并通过相同的算法进行训练。门控(或路由)函数将单个输入路由到所有候选专家中的少数专家。
MoE层中的路由器可以将每个输入路由到top-k(k≥2)或单(k=1)个专家。图7-1通过一个样例进行了说明。 人们对
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d