← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.841Z

它决定了网络参数针对每个训练数据的更新程度。通常在较大的训练过程中学习率会按计划降低,以防止“忘记”训练早期所学的内容。

Kaplan et al(2020)在其所有实验中显然都使用了统一的总退火计划,而不考虑运行时间的长短。结果表明,遵循次优退火计划的网络表现出较低的性能水平,而这似乎是可实现的最佳结果。

所以,这导致了对指导原则的理解偏差。 ·训练的普遍性。训练曲线的行为通常遵循一致的幂律,相对不受模型大小变化的影响。通过

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d