知识卡片
从AdaGrad到RMSProp
SGD、Momentum、NAG 有一个共同点:所有参数共用一个学习率 η,相当于把所有参数的重要性平等对待。但参数的梯度尺度差别很大——稀疏特征对应的参数很少被触发、梯度小,频繁特征梯度大。用同一个 η,要么稀疏参数学不动,要么频繁参数震荡。
AdaGrad 给每个参数 i 一个自己的步长:
θ{t+1,i} = θ{t,i} − η / √(G{t,i} + ε) · g{t,i}
其中 G_{t,i} 是前 t 步该参数梯度的平方和,ε 是保证分母不为零的小常数(常取 1×10⁻⁸)。梯度一直很大的参数,分母大、步长自动收缩;梯度小的参数,分母小、相对步长变大。原文的结论是:对稀疏特征得到较大的更新,对非稀疏特征得到较小的更新,因此适合稀疏特征数据。
代价:G 单调递增,分母只增不减,学习率会一路衰减到接近 0,优化速度越来越慢,容易造成训练早停;此外还要保存并计算每个参数梯度序列的平方和。
RMSProp 直接改掉”累加”这一步,用梯度平方的指数平均替代平方和:
E[g²]t = β·E[g²]{t−1} + (1−β)·g_t²
只保留近期梯度尺度,丢弃遥远历史。这样分母不会无限增长,步长可以长期保持有效;原文说它在非凸条件下结果更好。
一句话对比:
| 分母 | 学习率行为 | 问题 | |
|---|---|---|---|
| AdaGrad | 历史梯度平方的累加 | 单调递减 | 后期几乎停滞 |
| RMSProp | 梯度平方的指数平均 | 随近期尺度波动 | 需调 β,缺少方向信息 |
两者都只用了梯度的”大小”,没有用梯度的”方向一致性”——补上这一半就是 Adam(见 [[Adam融合动量与自适应]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 深度神经网络模型 15.2.6 几种常用的优化算法 · 查看原书依据
Adagrad算法则希望能够对每个参数自适应不同的学习速率,比如:对稀疏特征,得到较大的学习更新;对非稀疏特征,得到较小的学习更新(因此该优化算法适合处理稀疏特征数据)。
参考来源
- 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html)
- 结论依据:原文指出 Adagrad 用梯度平方和做分母、为每个参数自适应学习率,RMSprop 则改用梯度平方的指数平均以避免学习率过早衰减。
- 原始内容:Adagrad算法则希望能够对每个参数自适应不同的学习速率,比如:对稀疏特征,得到较大的学习更新;对非稀疏特征,得到较小的学习更新(因此该优化算法适合处理稀疏特征数据)。