知识卡片

普通读书笔记卡 · 9889.i · 生成模型:Hunyuan

动量与Nesterov加速

理解等级:高级

动量法引入速度变量 ν,把它设为负梯度的指数衰减平均,参数沿累积方向继续移动;它主要解决两件事:Hessian 病态造成的峡谷来回震荡,以及随机梯度的方差。物理类比是牛顿动力学下的粒子:负梯度是推动粒子下坡的力,速度衰减项对应黏性阻力——阻力太弱如湍流阻力粒子停不下来,太强如干摩擦会让粒子在到达极小前停下,黏性阻力恰当地平衡二者。若连续梯度同向,步长最大可达普通梯度下降的 1/(1-α) 倍,α 常取 0.5、0.9、0.99。Nesterov 动量先施加当前速度再在临时点计算梯度,相当于加入校正因子;它在凸批量情形把误差率从 O(1/k) 改进到 O(1/k²),但随机梯度下无此改进。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      动量方法(Polyak,1964)旨在加速学习,特别是处理高曲率、小但一致的梯度,或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均,并且继续沿该方向移动。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文指出动量法旨在加速学习,尤其针对高曲率、小但一致的梯度或带噪声的梯度,并说明它积累之前梯度的指数衰减移动平均。 - 原始内容:动量方法(Polyak,1964)旨在加速学习,特别是处理高曲率、小但一致的梯度,或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均,并且继续沿该方向移动。