← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.845Z

en et al,2015)(图片来源:Mustafa et al,2022) 7. 挑战 然而,这些成果并非没有挑战。

首先,在一段时间的训练后,当训练损失变得发散时,就会出现模型不稳定的情况,这通常比标准稠密Transformer更不稳定。其次,对于给定的困惑度,稠密模型通常优于稀疏模型。

但请注意,稀疏模型往往从更好的困惑度开始,从而获得更好的整体性能。 最近的研究在利用稀疏模型解决这些问题方面取得了重大进

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d