知识卡片
循环学习率周期性推高
循环学习率不再让学习率一路下行,而是把它限制在一个区间内周期性上下移动。三角模式从最低值线性升到最高值,再线性回落到最低值;三角2 模式形状相同,但每个周期结束后最高值与最低值都减半,探索幅度逐周期收窄。
书中示例设 base_lr=0.001、max_lr=0.01、step_size_up=5、模式为 triangular,于是学习率在 0.001 与 0.01 之间反复往返,形成一串循环。这样做的理由在长时间训练里才显现:固定的小学习率会让模型长期停留在同一区域,梯度更新趋同;周期性把学习率抬回高位,相当于定时给模型一次“刺激”,让它在梯度空间里走不同的路径,降低过拟合与卡在局部最优的风险。
代价是曲线不再单调:每次冲高都会带来损失波动,短训练里这些波动还没被消化就结束了,收益不明显反增不稳。周期长度、上下界必须与总步数匹配,周期太短等于频繁重启,太长则失去循环的意义。三角2 的减半设计提供了一种折中:前期充分探索,后期自动收敛到小步长。可与 [[余弦退火先降后升的周期]] 对照理解两类“回升”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自适应优化器与动态学习率调度 · 查看原书依据
循环学习率调度器的学习率曲线变化如图9-3所示,学习率从base_lr逐渐增加到max_lr,然后回落到base_lr,并重复这个过程,形成多个循环。这样设计的循环学习率调度策略,可以使模型在不同学习率下得到训练,在梯度空间内探索不同的路径,从而获得更好的泛化性能。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0004.xhtml)
- 结论依据:原文定义三角与三角2 两种循环模式,并说明循环学习率可使模型“在不同学习率下得到训练,在梯度空间内探索不同的路径”,从而改善泛化。
- 原始内容:循环学习率调度器的学习率曲线变化如图9-3所示,学习率从base_lr逐渐增加到max_lr,然后回落到base_lr,并重复这个过程,形成多个循环。这样设计的循环学习率调度策略,可以使模型在不同学习率下得到训练,在梯度空间内探索不同的路径,从而获得更好的泛化性能。