← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.846Z

7.3.2 高效的MoE架构 之前关于MoE架构的研究忽略了一个重要问题,即专家增加的参数是否都是增加模型规模所必需的。

由于MoE网络中的不同专家通常使用相关数据样本进行训练,因此专家之间很可能存在参数冗余。现有的研究已经确定确实存在专家冗余问题,这促使研究人员开发一种减少参数冗余的参数高效的MoE架构。

一种可能的方法是在专家之间共享一定比例的参数。然而,由于专家网络通常由稠密矩阵组成,因此识别和优化编码专家共享信息的关键

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d