知识卡片
BASE:路由写成分配
思路转变 不再“学一个门控再祈祷它均衡”,而是把路由直接写成带约束的优化问题:给每个专家分配固定数量的词元,同时最大化分配矩阵的总得分。均衡由算法保证,不靠损失函数慢慢逼近。
BASE 把路由视为线性分配问题,用匈牙利算法求解(近似但可保证)。它可以直接替换稀疏专家层,不需要额外的损失项或超参,效果接近数据并行训练;保证每个专家都分到词元、都以最大容量工作,不会闲置。为了让同一句子里高度相关的词元不被设备边界割裂,BASE 在本地求解前先随机洗牌,代价是前向与反向各多一次通信。
S-BASE 洗牌的通信开销可以用最优传输消掉:在路由 logits 上应用 Sinkhorn 层做行列双向归一化,等价于求解带熵正则的 Kantorovich 问题。softmax 恰好是该问题的闭式解,加上容量约束后变成双重约束版本,用 Sinkhorn 迭代求解,比在加速器集群上做硬匹配高效得多。
结果 BASE 结构简单,性能与稀疏门控 MoE 相当,验证困惑度的收敛还优于 Switch,说明算法级均衡可以替代均衡损失,也说明单专家层本身就很有效。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 稀疏专家模型 · 查看原书依据
BASE(基础)层将词元路由视为一个线性分配问题,该问题旨在为每个专家分配固定数量的词元,同时最大化路由矩阵的得分。 BASE层可直接替代稀疏专家层,无须调整额外的损失函数或超参数。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml)
- 结论依据:原文该段以「BASE(基础)层将词元路由视为一个线性分配问题,该问题旨在为每个专…」为中心展开,本卡的核心判断「思路转变 不再“学一个门控再祈祷它均衡”,而是把路由直接写成带约束的优化问题:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:BASE(基础)层将词元路由视为一个线性分配问题,该问题旨在为每个专家分配固定数量的词元,同时最大化路由矩阵的得分。 BASE层可直接替代稀疏专家层,无须调整额外的损失函数或超参数。