知识卡片

普通读书笔记卡 · 9690.a · 生成模型:DeepSeek-V4.1-Flash

MoE 层:多参数、少计算

理解等级:中级

MoE 层是插在 Transformer 里的一个可替换前馈层:内部有 N 个专家,架构相同、各自持有独立参数、用同样的算法训练;门控(路由)函数为一个输入挑出 k 个专家,k 等于 1 时是单专家,k 大于 1 时是 top-k。输出不是硬选一个,而是被选中专家输出的加权和。

一本账 设每个专家与前馈层同规模,则总参数量约为原来的 N 倍,而每个词元只算 k 个专家,前向计算约为稠密层的 k/N。也就是说,扩容靠“加专家”,不靠“让每个词元都过一遍”。这解释了为什么 MoE 能在参数量上远超同算力的稠密模型。

随之而来的约束 每个专家只拿到批次中的一部分词元,这就是“批次缩减问题”:批次太小时,专家训练不充分、路由学不准,所以 MoE 通常需要更大的批次;而大批次受显存限制,只能靠数据并行与模型并行来凑。可见 MoE 的“便宜”是有条件的,它把压力从算力转移到了显存、批次规模与通信上。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      MoE层包含许多专家,它们共享相同的网络架构,并通过相同的算法进行训练。门控(或路由)函数将单个输入路由到所有候选专家中的少数专家。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「MoE层包含许多专家,它们共享相同的网络架构,并通过相同的算法进行训…」为中心展开,本卡的核心判断「MoE 层是插在 Transformer 里的一个可替换前馈层:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:MoE层包含许多专家,它们共享相同的网络架构,并通过相同的算法进行训练。门控(或路由)函数将单个输入路由到所有候选专家中的少数专家。