原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
en et al,2015)(图片来源:Mustafa et al,2022) 7. 挑战 然而,这些成果并非没有挑战。
首先,在一段时间的训练后,当训练损失变得发散时,就会出现模型不稳定的情况,这通常比标准稠密Transformer更不稳定。其次,对于给定的困惑度,稠密模型通常优于稀疏模型。
但请注意,稀疏模型往往从更好的困惑度开始,从而获得更好的整体性能。 最近的研究在利用稀疏模型解决这些问题方面取得了重大进
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d