原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
erts,sMoE)模型在其门控机制中存在一种名为“表征崩溃”(representation collapse)的现象。
当top1路由机制强制隐藏表征聚集在专家中心点周围时,就会出现这种现象,从而产生表征崩溃的趋势,最终损害模型的准确率。Chi等通过经验观察支持了这一假设。
该论文针对这一问题提出了一个直接的解决方案,即减小门控表征的维度并使用余弦相似性来代替。他们通过提供定性证据,证明这种新
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d