知识卡片
负载均衡的辅助损失
自我强化效应 门控一开始若略微偏爱某个专家,该专家就拿更多词元、训得更充分、打分更高,下一轮拿到更多词元。这个正反馈会让少数专家吃掉大部分流量,其余专家长期欠训练,模型规模被浪费。
软约束的做法 按批次统计每个专家的平均门控权重(重要性),计算这些重要性之间的变异系数,再平方,作为一个额外损失项加到总损失上,用权重超参数调节强弱。变异系数衡量的是“离散程度相对于均值”,平方后对大偏差惩罚更重,目标是让所有专家的权重尽量相等。
局限 这是软约束而非硬保证:它降低不均衡的概率,但不能确保每个专家都恰好满载,训练早期尤其脆弱。正因如此,后续才有容量阈值(超限即丢弃)和算法级分配(专家选择、BASE)两类更硬的方案。
与批次的关系 辅助损失按批次统计,批次越小统计噪声越大,这也是 MoE 偏好大批次的另一个原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 稀疏专家模型 · 查看原书依据
为了避免门控网络在任何时候都偏向于少数占优势的专家,从而导致自我强化效应,Shazeer et al(2017)以额外重要性损失的形式提出了一种软约束,鼓励所有专家拥有相等的权重。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml)
- 结论依据:原文该段以「为了避免门控网络在任何时候都偏向于少数占优势的专家,从而导致自我强化…」为中心展开,本卡的核心判断「自我强化效应 门控一开始若略微偏爱某个专家,该专家就拿更多词元、训得更充分、打分更高,下一轮拿到更多词元。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:为了避免门控网络在任何时候都偏向于少数占优势的专家,从而导致自我强化效应,Shazeer et al(2017)以额外重要性损失的形式提出了一种软约束,鼓励所有专家拥有相等的权重。