知识卡片
退火计划错位让法则失真
Kaplan 等的法则被 Chinchilla 修正,根子在实验方法:他们给所有规模的模型使用同一条总退火计划,不随训练步数(数据量)调整。
为什么这很致命:大模型训练的学习率先预热、再衰减,衰减拐点的位置应当与总训练长度成比例——训练越久,越晚开始衰减。若把短跑拟合出的计划直接套到长跑的大模型上,模型会在远未收敛时就被强制压低学习率,表现为“数据加多了也没用”,于是“参数比数据值钱”的偏差被放大成法则。
修正:把学习率计划与 D 绑定后再拟合损失面,得到的就是等比例配比。Kaplan 的工作还显示,遵循次优退火计划的网络只能达到较差水平,而这个较差水平被误当作可达上限。
可迁移:拟合经验规律时,被固定住的超参数本身可能是规模的函数;一个未随规模调整的设定,会把系统性偏差伪装成规律。看到“某因素不重要”的结论时,先问它在实验里是否被适当地重新调过。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
Kaplan et al(2020)在其所有实验中显然都使用了统一的总退火计划,而不考虑运行时间的长短。结果表明,遵循次优退火计划的网络表现出较低的性能水平,而这似乎是可实现的最佳结果。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「Kaplan et al(2020)在其所有实验中显然都使用了统一的…」为中心展开,本卡的核心判断「Kaplan 等的法则被 Chinchilla 修正,根子在实验方法:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Kaplan et al(2020)在其所有实验中显然都使用了统一的总退火计划,而不考虑运行时间的长短。结果表明,遵循次优退火计划的网络表现出较低的性能水平,而这似乎是可实现的最佳结果。