← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9690.e · 生成模型:DeepSeek-V4.1-Flash

专家容量与词元溢出

理解等级:中级

容量是什么 给每个专家设一个可接收词元数的上限,即专家容量(capacity)。它是把“动态的路由结果”压成“静态的张量形状”的手段——硬件需要预先知道每个专家要算多少行,容量就是这个预先分配的行数。

溢出的代价 超出容量的词元被标记为“溢出”,门控输出变成零向量,等于这个词元在该层没被任何专家处理。这部分计算和表征被直接丢弃,既浪费算力也损失信息;容量给小了丢弃多,给大了则大量位置靠填充占着,同样浪费。

GShard 的三处补强 - 局部组调度:把词元分成多个局部组,在组级别执行容量限制,避免全局统计带来的抖动。 - 辅助损失:最小化路由到各专家的数据比例的均方值,抑制不均衡。 - 随机路由:先送排名第一的专家,再以“第二名的概率除以阈值”为概率送第二名,阈值常取 0.2,两个得分归一化后相加为 1,用随机性换取容错。

GShard 只把 MoE 层分片到多机、其余层复制,靠这套设计把模型推到 6000 亿参数、2048 个专家、100 种语言。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      为了确保专家不超负荷,对通过专家的词元数量设置了一个阈值。如果词元被路由到已达到一定规模的专家,那么该词元会被标记为“溢出”,门控输出将变为零向量。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「为了确保专家不超负荷,对通过专家的词元数量设置了一个阈值。如果词元被…」为中心展开,本卡的核心判断「容量是什么 给每个专家设一个可接收词元数的上限,即专家容量(capacity)。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:为了确保专家不超负荷,对通过专家的词元数量设置了一个阈值。如果词元被路由到已达到一定规模的专家,那么该词元会被标记为“溢出”,门控输出将变为零向量。