← 返回刚才阅读的位置

知识卡片

问题卡 · 9690.b · 生成模型:DeepSeek-V4.1-Flash

稀疏训练的稳定性代价

理解等级:高级

现象 稀疏模型训练一段时间后,损失可能发散,稳定性通常不如同等条件下的稠密 Transformer;而且在相同困惑度下,稠密模型往往表现更好。注意后半句容易被误读:稀疏模型常常从更低的困惑度起步,只是后期被稠密模型追上,整体性能仍可能更优。

为什么 门控的离散选择让优化地形更陡,路由 logits 数值过大会放大这种不稳定,属于数值层面的问题。

对策一:Router-Z 损失 把进入路由函数的 logits 压小,抑制极端置信的门控输出,从而提升稳定性。它不改变路由结构,只是给 logits 加一个软约束,是低成本的通用补丁。

对策二:换一套微调超参 稀疏模型偏好较小的批次与较大的学习率,稠密模型相反。一种解释是:稀疏模型参数更多、更容易过拟合,而小批次加大学习率恰好起到正则化作用。这说明把稠密模型的训练配方直接搬到 MoE 上会低估它,超参本身是收益的一部分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      首先,在一段时间的训练后,当训练损失变得发散时,就会出现模型不稳定的情况,这通常比标准稠密Transformer更不稳定。其次,对于给定的困惑度,稠密模型通常优于稀疏模型。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「首先,在一段时间的训练后,当训练损失变得发散时,就会出现模型不稳定的…」为中心展开,本卡的核心判断「现象 稀疏模型训练一段时间后,损失可能发散,稳定性通常不如同等条件下的稠密 Transformer;」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:首先,在一段时间的训练后,当训练损失变得发散时,就会出现模型不稳定的情况,这通常比标准稠密Transformer更不稳定。其次,对于给定的困惑度,稠密模型通常优于稀疏模型。