原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
模、数据量或计算量的限制,语言建模的性能会经历几个数量级的幂律扩展。这种可预测的性能使业界能够以相对较低的风险扩大规模。
有趣的是,更大的模型需要更少的样本来达到相同的性能,而且最佳模型规模会随着计算预算平滑增长。然而,这些大型模型的成本可能很高,而稀疏性是在不增加成本的情况下扩大规模的一个前景广阔的领域。
2. 利用稀疏激活 此外,如果使用ReLU等激活函数,利用现代训练技术训练完全连接的前馈层,则很大一部分激活可能会变为零
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d