← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9690.n · 生成模型:DeepSeek-V4.1-Flash

MoE 与集成:互补而非替代

理解等级:高级

两者的差别 MoE 是条件计算:根据输入在内部激活层面动态挑选专家,不同样本走不同子网络。集成是静态组合:多个完整模型各自预测,再在预测层面平均或投票。一个在表征层做选择,一个在输出层做汇总。

为什么能互补 自适应计算与静态组合是两种独立机制,叠加后既保留输入的针对性,又获得多模型带来的稳健性。结合后的好处包括:在集成规模与稀疏度之间做 FLOP 与性能的权衡;在预测层面合并多个 MoE 时,得到更好的不确定性估计。这也解释了为什么在安全关键领域(医疗诊断、自动驾驶)值得关注。

pBE:为 MoE 定制的集成 把 E 个专家切成 M 个不相交子集,每个子集 E/M 个专家充当一个集成成员;非专家层全部共享,每个成员有自己的路由函数(总参数量不变,因为每个路由矩阵只有 E/M 行);输入按 M 倍平铺,一次前向同时处理 M 个成员。它在少样本性能、似然与校准误差上均有提升,效果与深度集成相当,FLOP 却少 30% 到 43%。

极简路线 只在输出端加一个 MoE、用聚类初始化路由、让基础模型分支充当早退出与正则化,也能取得有竞争力的性价比,前提是用异步训练流水线避开路由崩溃。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「稀疏MoE模型根据输入动态组合专家,组合发生在内部激活层面。与之不同…」为中心展开,本卡的核心判断「两者的差别 MoE 是条件计算:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:稀疏MoE模型根据输入动态组合专家,组合发生在内部激活层面。与之不同的是,集成模型通常以静态方式在预测层面组合多个模型。