知识卡片

普通读书笔记卡 · 9836.k · 生成模型:DeepSeek-V4.1-Flash

从AdaGrad到RMSProp

理解等级:高级

SGD、Momentum、NAG 有一个共同点:所有参数共用一个学习率 η,相当于把所有参数的重要性平等对待。但参数的梯度尺度差别很大——稀疏特征对应的参数很少被触发、梯度小,频繁特征梯度大。用同一个 η,要么稀疏参数学不动,要么频繁参数震荡。

AdaGrad 给每个参数 i 一个自己的步长:

θ{t+1,i} = θ{t,i} − η / √(G{t,i} + ε) · g{t,i}

其中 G_{t,i} 是前 t 步该参数梯度的平方和,ε 是保证分母不为零的小常数(常取 1×10⁻⁸)。梯度一直很大的参数,分母大、步长自动收缩;梯度小的参数,分母小、相对步长变大。原文的结论是:对稀疏特征得到较大的更新,对非稀疏特征得到较小的更新,因此适合稀疏特征数据。

代价:G 单调递增,分母只增不减,学习率会一路衰减到接近 0,优化速度越来越慢,容易造成训练早停;此外还要保存并计算每个参数梯度序列的平方和。

RMSProp 直接改掉”累加”这一步,用梯度平方的指数平均替代平方和:

E[g²]t = β·E[g²]{t−1} + (1−β)·g_t²

只保留近期梯度尺度,丢弃遥远历史。这样分母不会无限增长,步长可以长期保持有效;原文说它在非凸条件下结果更好。

一句话对比:

分母 学习率行为 问题
AdaGrad 历史梯度平方的累加 单调递减 后期几乎停滞
RMSProp 梯度平方的指数平均 随近期尺度波动 需调 β,缺少方向信息

两者都只用了梯度的”大小”,没有用梯度的”方向一致性”——补上这一半就是 Adam(见 [[Adam融合动量与自适应]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html) - 结论依据:原文指出 Adagrad 用梯度平方和做分母、为每个参数自适应学习率,RMSprop 则改用梯度平方的指数平均以避免学习率过早衰减。 - 原始内容:Adagrad算法则希望能够对每个参数自适应不同的学习速率,比如:对稀疏特征,得到较大的学习更新;对非稀疏特征,得到较小的学习更新(因此该优化算法适合处理稀疏特征数据)。