知识卡片
指标不降才降学习率
ReduceLROnPlateau 把触发条件从“过了多少个 epoch”换成“验证指标有没有继续变好”:监测的指标在连续 patience 个 epoch 内都没有改善,就把学习率乘以 factor。mode 决定改善的方向,取 min 表示希望指标越小越好(如损失),取 max 表示越大越好(如准确率)。
这种调度的价值在于节奏由模型表现决定:学得动时不打扰,停滞时才降档。因此它不需要事先知道总轮数,适合训练长度不确定、或不同随机种子下收敛速度差异较大的任务。相比 [[阶梯与指数两种粗调]],它少了一层“猜时机”的风险。
代价是引入了对验证集的依赖:每个 epoch 都要评估,增加开销;验证指标本身有噪声时,一次偶然的抖动可能被误判为平台期,导致过早降档,patience 正是用来吸收这种噪声的。patience 太小降得过早,太大则在无效区间里白耗算力。factor 决定降档幅度,一次降得太狠会让模型失去继续优化的步长,通常配合“降档后继续观察”的循环使用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自适应优化器与动态学习率调度 · 查看原书依据
ReduceLROnPlateau是一种基于验证集性能的学习率调度器,它会在监测指标(如损失或准确率)在一定时间内不再改善时减少学习率,适用于在训练过程中准确控制学习率的任务。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0004.xhtml)
- 结论依据:原文说明该调度器“在监测指标(如损失或准确率)在一定时间内不再改善时减少学习率”,并解释 mode、factor、patience 三个参数的作用。
- 原始内容:ReduceLROnPlateau是一种基于验证集性能的学习率调度器,它会在监测指标(如损失或准确率)在一定时间内不再改善时减少学习率,适用于在训练过程中准确控制学习率的任务。