原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
7.3.2 高效的MoE架构 之前关于MoE架构的研究忽略了一个重要问题,即专家增加的参数是否都是增加模型规模所必需的。
由于MoE网络中的不同专家通常使用相关数据样本进行训练,因此专家之间很可能存在参数冗余。现有的研究已经确定确实存在专家冗余问题,这促使研究人员开发一种减少参数冗余的参数高效的MoE架构。
一种可能的方法是在专家之间共享一定比例的参数。然而,由于专家网络通常由稠密矩阵组成,因此识别和优化编码专家共享信息的关键
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d