← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.845Z

erts,sMoE)模型在其门控机制中存在一种名为“表征崩溃”(representation collapse)的现象。

当top1路由机制强制隐藏表征聚集在专家中心点周围时,就会出现这种现象,从而产生表征崩溃的趋势,最终损害模型的准确率。Chi等通过经验观察支持了这一假设。

该论文针对这一问题提出了一个直接的解决方案,即减小门控表征的维度并使用余弦相似性来代替。他们通过提供定性证据,证明这种新

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d