知识卡片

普通读书笔记卡 · 9690.l · 生成模型:DeepSeek-V4.1-Flash

MPOE:专家冗余与参数共享

理解等级:高级

被忽略的问题 专家数量增加带来的参数,是否都是扩容所必需的?不同专家往往在同一批相关数据上训练,参数很可能高度冗余。已有研究确认冗余确实存在,于是问题变成:能否在保留“多专家”表达能力的同时,砍掉重复参数。

为什么难 最直觉的做法是让专家共享一定比例的参数,但专家网络是稠密矩阵,哪些元素承载共享信息、哪些承载个体差异,事前无法分辨。

MPO 分解的办法 借量子多体物理中的矩阵乘积算符分解,把一个大矩阵拆成一串局部张量的乘积:信息被重组进一个中心张量,辅助张量负责把它还原成原矩阵。放到 MoE 上,所有专家共享同一个全局中心张量,各自只保留自己的辅助张量,单专家矩阵等于“共享中心乘以个体辅助”。参数量因此大幅下降,辅助张量仍能捕捉路由数据带来的差异;直接优化会带来优化不均衡,用梯度掩蔽缓解。

启发 MoE 的容量收益存在边际递减:专家越多,重叠越多。结构化共享比单纯堆专家更划算,也是“专家剪枝/合并”这类思路的理论近亲。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      由于MoE网络中的不同专家通常使用相关数据样本进行训练,因此专家之间很可能存在参数冗余。现有的研究已经确定确实存在专家冗余问题,这促使研究人员开发一种减少参数冗余的参数高效的MoE架构。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「由于MoE网络中的不同专家通常使用相关数据样本进行训练,因此专家之间…」为中心展开,本卡的核心判断「被忽略的问题 专家数量增加带来的参数,是否都是扩容所必需的?不同专家往往在同一批相关数据上训练,参数很可能高度冗余。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:由于MoE网络中的不同专家通常使用相关数据样本进行训练,因此专家之间很可能存在参数冗余。现有的研究已经确定确实存在专家冗余问题,这促使研究人员开发一种减少参数冗余的参数高效的MoE架构。