知识卡片
RMSProp衰减历史梯度影响
RMSProp 把 AdaGrad 的“梯度平方全历史求和”改成指数移动平均,常见写法为 r←ρr+(1−ρ)g⊙g,再同样按 g/(δ+√r) 缩放更新。衰减率 ρ(0 到 1 之间)越大,旧梯度保留越久;每过一步,旧信息的权重就乘一次 ρ。
对比(示例:某参数梯度一直为 1,ρ=0.9):AdaGrad 的 r 在第 100 步为 100,更新幅度缩到 0.1ε;RMSProp 的 r 逐渐趋近 1 而不再增长,更新幅度保持在约 ε。这就是它缓解 AdaGrad 步长持续缩小的原因。
仍须设置基础学习率 ε、ρ 和稳定项 δ。它不保证非凸目标最终进入凸区域,也不保证快速收敛。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 0 . 2 . 3 深 度 模 型 优 化 · 查看原书依据
RMSProp算法则是在AdaGrad基础上的一种改进,改变梯度积累为指数加权的移动平均,在非凸的情况下取得了更好的效果。
参考来源
- 位置:《智能算法导论》第 193 项《20.2.3 深度模型优化/自适应学习率、算法 20-3》(源文件:`_epub-src/EPUB/xhtml/chapter20_0004.xhtml`)
- 结论依据:正文明确指数加权移动平均及衰减率;算法图却仍写全量累积且更新分子异常,故依据正文保留机制并标明伪代码失配;r 的移动平均写法是按正文“指数加权移动平均、ρ控制衰减”补出的常见形式,梯度恒为 1 的对比为补充教学示例,非书中数据。
- 原始内容:RMSProp算法则是在AdaGrad基础上的一种改进,改变梯度积累为指数加权的移动平均……采用了指数衰减平均的方式来减小历史梯度值对当前步骤参数更新量的影响。