← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9836.j · 生成模型:DeepSeek-V4.1-Flash

动量法与NAG的前瞻

理解等级:中级

SGD 的更新是 θ ← θ − η·g_t,方向完全取决于当前 batch 的梯度。batch 有噪声,梯度方向会来回抖,收敛路径呈锯齿状,速度慢。Momentum 的改法很直接:不直接用当前梯度,而用它的指数加权平均。

vt = β·v{t−1} + η·gt θ{t+1} = θ_t − v_t

原文的比喻是物体运动的惯性:更新时在一定程度上保留之前的方向,再用当前梯度微调。效果有三点:方向一致的梯度被累积、来回震荡的分量互相抵消,因此更稳更快;而且靠惯性可以冲过一些浅的局部最优。代价是多了一个超参 β(常取 0.9),且目标函数剧烈变化时可能冲过最优点。

NAG(Nesterov Accelerated Gradient)认为 Momentum 还不够聪明:它沿着当前斜坡一直走,不管前面是谷底还是悬崖。改进只有一处——把”当前位置的梯度”换成”按动量走一步之后那个近似位置的梯度”:

vt = β·v{t−1} + η·∇J(θ)|_{θ = θt − βv{t−1}}

流程:先按历史动量滚一步,把新位置当成下一时刻的位置,在那里求梯度,再用它修正方向。直觉是下坡时提前减速,快到谷底时自动收步。

方法 用的梯度 特点
SGD 当前 batch 抖动大、收敛慢
Momentum 历史梯度的指数平均 稳、有惯性、能过浅坑
NAG 动量方向上近似下一点的梯度 有预见性、越过最优点时更稳

边界:两者都只调”方向”,不改”步长尺度”;所有参数仍共用一个学习率。遇到不同参数梯度量级差异很大的情况(稀疏特征),需要下一步的自适应方法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html) - 结论依据:原文说明 Momentum 模拟惯性、用梯度指数加权平均代替当前梯度,NAG 则改为在近似下一位置求梯度以感知坡度。 - 原始内容:momentum即动量,它模拟的是物体运动时的惯性,即更新的时候在一定程度上保留之前更新的方向,同时利用当前 batch 的梯度微调最终的更新方向。这样一来,可以在一定程度上增加稳定性,从而学习得更快,并且还有一定摆脱局部最优的能力