← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.844Z

模、数据量或计算量的限制,语言建模的性能会经历几个数量级的幂律扩展。这种可预测的性能使业界能够以相对较低的风险扩大规模。

有趣的是,更大的模型需要更少的样本来达到相同的性能,而且最佳模型规模会随着计算预算平滑增长。然而,这些大型模型的成本可能很高,而稀疏性是在不增加成本的情况下扩大规模的一个前景广阔的领域。

2. 利用稀疏激活 此外,如果使用ReLU等激活函数,利用现代训练技术训练完全连接的前馈层,则很大一部分激活可能会变为零

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d