知识卡片
专家选择:让专家挑词元
把选择方向反过来 常规 MoE 是每个词元挑 top-k 个专家,容易出现有的专家撑死、有的饿死。专家选择(EC)改成每个专家挑 top-k 个词元:先算词元与专家的亲和力得分矩阵,再对每个专家取分数最高的 k 个词元。
为什么能天然均衡 因为 k 由公式 k = n·c/e 决定(n 是批次词元数,e 是专家数,c 是每个词元平均使用的专家数),每个专家拿到的词元数被预先定死,不需要辅助损失,也不会出现容量溢出。代价是每个词元被几个专家选中变得不定,需要额外限制单 词元可用的专家数上限;原文用 Dykstra 算法迭代求解,实验显示这种限制对微调性能影响很小。
实际取值 多数实验取 c 等于 2;即使取 c 等于 1,仍优于 top-1 的词元选择门控。
致命边界 该方法要求一次性看到批次内所有词元才能做全局排序,而自回归生成是逐词元吐出的,未来词元尚不存在。于是它难以用于类 ChatGPT 的模型——偏偏那是最成功的 MoE 应用场景,这极大限制了它的适用范围。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 稀疏专家模型 · 查看原书依据
专家选择(Expert Choice,EC)(Zhou et al,2022b)则引入了一种新的机制,使每个专家都能选择top-k个词元。这种方法可确保每个专家具有预先确定的规模,而且每个词元都可以分配给多个专家。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml)
- 结论依据:原文该段以「专家选择(Expert Choice,EC)(Zhou et al,…」为中心展开,本卡的核心判断「把选择方向反过来 常规 MoE 是每个词元挑 top-k 个专家,容易出现有的专家撑死、有的饿死。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:专家选择(Expert Choice,EC)(Zhou et al,2022b)则引入了一种新的机制,使每个专家都能选择top-k个词元。这种方法可确保每个专家具有预先确定的规模,而且每个词元都可以分配给多个专家。