知识卡片
动量法与NAG的前瞻
SGD 的更新是 θ ← θ − η·g_t,方向完全取决于当前 batch 的梯度。batch 有噪声,梯度方向会来回抖,收敛路径呈锯齿状,速度慢。Momentum 的改法很直接:不直接用当前梯度,而用它的指数加权平均。
vt = β·v{t−1} + η·gt θ{t+1} = θ_t − v_t
原文的比喻是物体运动的惯性:更新时在一定程度上保留之前的方向,再用当前梯度微调。效果有三点:方向一致的梯度被累积、来回震荡的分量互相抵消,因此更稳更快;而且靠惯性可以冲过一些浅的局部最优。代价是多了一个超参 β(常取 0.9),且目标函数剧烈变化时可能冲过最优点。
NAG(Nesterov Accelerated Gradient)认为 Momentum 还不够聪明:它沿着当前斜坡一直走,不管前面是谷底还是悬崖。改进只有一处——把”当前位置的梯度”换成”按动量走一步之后那个近似位置的梯度”:
vt = β·v{t−1} + η·∇J(θ)|_{θ = θt − βv{t−1}}
流程:先按历史动量滚一步,把新位置当成下一时刻的位置,在那里求梯度,再用它修正方向。直觉是下坡时提前减速,快到谷底时自动收步。
| 方法 | 用的梯度 | 特点 |
|---|---|---|
| SGD | 当前 batch | 抖动大、收敛慢 |
| Momentum | 历史梯度的指数平均 | 稳、有惯性、能过浅坑 |
| NAG | 动量方向上近似下一点的梯度 | 有预见性、越过最优点时更稳 |
边界:两者都只调”方向”,不改”步长尺度”;所有参数仍共用一个学习率。遇到不同参数梯度量级差异很大的情况(稀疏特征),需要下一步的自适应方法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 深度神经网络模型 15.2.6 几种常用的优化算法 · 查看原书依据
momentum即动量,它模拟的是物体运动时的惯性,即更新的时候在一定程度上保留之前更新的方向,同时利用当前 batch 的梯度微调最终的更新方向。这样一来,可以在一定程度上增加稳定性,从而学习得更快,并且还有一定摆脱局部最优的能力
参考来源
- 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html)
- 结论依据:原文说明 Momentum 模拟惯性、用梯度指数加权平均代替当前梯度,NAG 则改为在近似下一位置求梯度以感知坡度。
- 原始内容:momentum即动量,它模拟的是物体运动时的惯性,即更新的时候在一定程度上保留之前更新的方向,同时利用当前 batch 的梯度微调最终的更新方向。这样一来,可以在一定程度上增加稳定性,从而学习得更快,并且还有一定摆脱局部最优的能力