原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
它决定了网络参数针对每个训练数据的更新程度。通常在较大的训练过程中学习率会按计划降低,以防止“忘记”训练早期所学的内容。
Kaplan et al(2020)在其所有实验中显然都使用了统一的总退火计划,而不考虑运行时间的长短。结果表明,遵循次优退火计划的网络表现出较低的性能水平,而这似乎是可实现的最佳结果。
所以,这导致了对指导原则的理解偏差。 ·训练的普遍性。训练曲线的行为通常遵循一致的幂律,相对不受模型大小变化的影响。通过
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d