知识卡片
学习率调度控制更新步长
SGD 用随机小批量估计梯度,第 k 步的学习率 εₖ 决定沿负梯度走多远。过小会训练缓慢,过大会振荡或发散。
原书给出的收敛条件是两条:
- Σεₖ = ∞:步长总和不能有限,否则走出有限距离就停住,可能还没到最优点。
- Σεₖ² < ∞:步长平方和有限,即步长要逐渐变小,让随机梯度的噪声最终被压住。
实践常用线性衰减:εₖ=(1−α)ε₀+αε_τ,α=k/τ,从初值 ε₀ 在 τ 步内线性降到 ε_τ,之后保持常数。
这两条是特定随机逼近假设下的经典条件,不能脱离目标光滑性、噪声和采样条件当作深度网络收敛的充分保证;衰减到常数后也已不满足平方和有限。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 0 . 2 . 3 深 度 模 型 优 化 · 查看原书依据
SGD的学习率选取是很重要又很困难的一点,学习率太小可能会导致收敛速度非常缓慢,而学习率太大会阻碍收敛,容易引起权重在最优解附近震荡,甚至可能引起发散。学习率的选取并没有一个标准的方法,需要针对不同的问题通过实验和误差来进行选取。
参考来源
- 位置:《智能算法导论》第 193 项《20.2.3 深度模型优化/随机梯度下降、式 20-1–20-3、算法 20-1》(源文件:`_epub-src/EPUB/xhtml/chapter20_0004.xhtml`)
- 结论依据:正文给出衰减学习率及选取难点;已有批量大小卡保留采样机制,本卡补充调度与收敛条件的边界。式20-1–20-3 为原书公式,两条条件的直观含义及“衰减至常数后不再满足平方和有限”为依据公式推出的解释。
- 原始内容:学习率太小可能会导致收敛速度非常缓慢,而学习率太大会阻碍收敛,容易引起权重在最优解附近震荡,甚至可能引起发散。