原书出处
大模型技术30讲
08 第8章 Transformer架构的成功
及可训练参数量,是决定其模型性能的关键因素,尤其对于大规模自然语言处理任务而言。
线性尺度定律表明,随着模型规模增大,训练损失会成比例减少,这意味着模型大小翻一番,训练损失可能会减半。
这样一来,可以进一步提升模型在目标下游任务上的表现。但至关重要的是,模型规模与
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0012.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec