知识卡片
MPOE:专家冗余与参数共享
被忽略的问题 专家数量增加带来的参数,是否都是扩容所必需的?不同专家往往在同一批相关数据上训练,参数很可能高度冗余。已有研究确认冗余确实存在,于是问题变成:能否在保留“多专家”表达能力的同时,砍掉重复参数。
为什么难 最直觉的做法是让专家共享一定比例的参数,但专家网络是稠密矩阵,哪些元素承载共享信息、哪些承载个体差异,事前无法分辨。
MPO 分解的办法 借量子多体物理中的矩阵乘积算符分解,把一个大矩阵拆成一串局部张量的乘积:信息被重组进一个中心张量,辅助张量负责把它还原成原矩阵。放到 MoE 上,所有专家共享同一个全局中心张量,各自只保留自己的辅助张量,单专家矩阵等于“共享中心乘以个体辅助”。参数量因此大幅下降,辅助张量仍能捕捉路由数据带来的差异;直接优化会带来优化不均衡,用梯度掩蔽缓解。
启发 MoE 的容量收益存在边际递减:专家越多,重叠越多。结构化共享比单纯堆专家更划算,也是“专家剪枝/合并”这类思路的理论近亲。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 稀疏专家模型 · 查看原书依据
由于MoE网络中的不同专家通常使用相关数据样本进行训练,因此专家之间很可能存在参数冗余。现有的研究已经确定确实存在专家冗余问题,这促使研究人员开发一种减少参数冗余的参数高效的MoE架构。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml)
- 结论依据:原文该段以「由于MoE网络中的不同专家通常使用相关数据样本进行训练,因此专家之间…」为中心展开,本卡的核心判断「被忽略的问题 专家数量增加带来的参数,是否都是扩容所必需的?不同专家往往在同一批相关数据上训练,参数很可能高度冗余。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:由于MoE网络中的不同专家通常使用相关数据样本进行训练,因此专家之间很可能存在参数冗余。现有的研究已经确定确实存在专家冗余问题,这促使研究人员开发一种减少参数冗余的参数高效的MoE架构。