← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9690.i · 生成模型:DeepSeek-V4.1-Flash

BASE:路由写成分配

理解等级:高级

思路转变 不再“学一个门控再祈祷它均衡”,而是把路由直接写成带约束的优化问题:给每个专家分配固定数量的词元,同时最大化分配矩阵的总得分。均衡由算法保证,不靠损失函数慢慢逼近。

BASE 把路由视为线性分配问题,用匈牙利算法求解(近似但可保证)。它可以直接替换稀疏专家层,不需要额外的损失项或超参,效果接近数据并行训练;保证每个专家都分到词元、都以最大容量工作,不会闲置。为了让同一句子里高度相关的词元不被设备边界割裂,BASE 在本地求解前先随机洗牌,代价是前向与反向各多一次通信。

S-BASE 洗牌的通信开销可以用最优传输消掉:在路由 logits 上应用 Sinkhorn 层做行列双向归一化,等价于求解带熵正则的 Kantorovich 问题。softmax 恰好是该问题的闭式解,加上容量约束后变成双重约束版本,用 Sinkhorn 迭代求解,比在加速器集群上做硬匹配高效得多。

结果 BASE 结构简单,性能与稀疏门控 MoE 相当,验证困惑度的收敛还优于 Switch,说明算法级均衡可以替代均衡损失,也说明单专家层本身就很有效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      BASE(基础)层将词元路由视为一个线性分配问题,该问题旨在为每个专家分配固定数量的词元,同时最大化路由矩阵的得分。 BASE层可直接替代稀疏专家层,无须调整额外的损失函数或超参数。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「BASE(基础)层将词元路由视为一个线性分配问题,该问题旨在为每个专…」为中心展开,本卡的核心判断「思路转变 不再“学一个门控再祈祷它均衡”,而是把路由直接写成带约束的优化问题:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:BASE(基础)层将词元路由视为一个线性分配问题,该问题旨在为每个专家分配固定数量的词元,同时最大化路由矩阵的得分。 BASE层可直接替代稀疏专家层,无须调整额外的损失函数或超参数。