← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9690.f · 生成模型:DeepSeek-V4.1-Flash

表征崩溃:top-1 的副作用

理解等级:高级

现象 当路由只选一个专家(top-1)时,门控会持续把隐表征往各专家的中心点推:同一专家接收的词元被压成相似的向量,表征多样性下降,专家之间的分工反而模糊。这种“表征崩溃”不会表现为负载不均,而是表现为准确率受损,因此比流量失衡更隐蔽。

为什么会发生 top-1 是硬分配,每个词元只有一个梯度来源;门控为了降低损失,倾向把词元塞进当前最匹配的专家,表征被反复投影到少数中心,形成自我强化的收窄。专家数量越多、路由越硬,风险越大。

对策 一个直接办法是降低门控表征的维度,并用余弦相似度替代点积:低维加角度度量削弱了“往中心聚集”的吸引力,使表征不容易塌缩。原文报告这种改动在跨语言理解与机器翻译上带来持续但幅度不大的提升。

启发 路由不只影响“算力分给谁”,还塑造了模型学到的表征几何;评估 MoE 时不能只看负载均衡指标,还要看表征是否退化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      当top1路由机制强制隐藏表征聚集在专家中心点周围时,就会出现这种现象,从而产生表征崩溃的趋势,最终损害模型的准确率。Chi等通过经验观察支持了这一假设。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「当top1路由机制强制隐藏表征聚集在专家中心点周围时,就会出现这种现…」为中心展开,本卡的核心判断「现象 当路由只选一个专家(top-1)时,门控会持续把隐表征往各专家的中心点推:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:当top1路由机制强制隐藏表征聚集在专家中心点周围时,就会出现这种现象,从而产生表征崩溃的趋势,最终损害模型的准确率。Chi等通过经验观察支持了这一假设。