返回主题:线性模型与优化算法

知识卡片

普通读书笔记卡 · 3788.l.2

AdaGrad累积梯度缩放步长

理解等级:中级

AdaGrad 给每个参数各配一个累积量 r,每步累加梯度平方 r←r+g⊙g(⊙为逐元素相乘),更新量与 ε·g/(δ+√r) 成正比:ε 是全局学习率,δ 是防止除零的小常数。于是累积量大的坐标有效学习率 ε/√r 较小。

演示(假设 ε 相同、忽略 δ):

情形 累积 r 有效学习率 本步更新幅度
参数 A 连续 4 步梯度为 1 4 ε/2 0.5ε
参数 B 连续 4 步梯度为 0.1 0.04 5ε 0.5ε
参数 A 连续 100 步梯度为 1 100 ε/10 0.1ε

前两行说明梯度尺度不同的坐标被拉到相近步幅;第三行说明即使梯度不变,r 只增不减,步长也会持续缩小,这正是原书说的学习率过早、过量减小。因此自适应不等于无需调参,也不保证所有目标都比 SGD 好。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 2 0 . 2 . 3 深 度 模 型 优 化 · 查看原书依据

      因为该算法在训练开始时就对梯度平方进行累积,在部分实验中容易导致学习率过早和过量地减小。 RMSProp算法则是在AdaGrad基础上的一种改进,改变梯度积累为指数加权的移动平均,在非凸的情况下取得了更好的效果。

    参考来源

    - 位置:《智能算法导论》第 193 项《20.2.3 深度模型优化/自适应学习率、算法 20-2》(源文件:`_epub-src/EPUB/xhtml/chapter20_0004.xhtml`) - 结论依据:正文指出梯度平方累计会使学习率过量减小,与图中的累计变量相符;原文“大偏导取大学习率”的概括未沿用,图缺失的更新行不作为可执行代码;更新量与 g/√r 成正比依据正文“Δθ反比于梯度历史平方和的平方根”写出,演示表为补充的教学算例,非书中数据。 - 原始内容:AdaGrad算法在训练开始时就对梯度平方进行累积,在部分实验中容易导致学习率过早和过量地减小。