返回主题:线性模型与优化算法

知识卡片

普通读书笔记卡 · 3792

牛顿步利用曲率调整方向

理解等级:高级

Hessian 矩阵 H 是目标 J 对参数 θ 的二阶导数矩阵,描述各方向上的曲率(坡度变化有多快)。牛顿法在当前点 θ₀ 用二阶泰勒展开近似 J,再直接跳到这个二次近似的临界点:θ* = θ₀ − H⁻¹∇J(θ₀)。曲率大的方向步子小,曲率小的方向步子大,不必手调学习率。

  • H 正定(各方向都向上弯)时,这个临界点是近似的极小点,更新是下降方向。
  • 非凸区域里 H 有负特征值(负曲率),临界点可能是鞍点或极大点,牛顿步会朝错误方向移动。
  • 正则化做法是改用 [H+αI]⁻¹:α 足够大能抵消负特征值;但 α 很大时更新近似 −∇J/α,步长比适当学习率的梯度下降还小。

精确 Hessian 的存储与求逆代价高,原书据此认为牛顿法只适合参数较少的网络。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 193 项《20.2.3 深度模型优化/牛顿法、式 20-4–20-6》(源文件:`_epub-src/EPUB/xhtml/chapter20_0004.xhtml`) - 结论依据:正文从二阶泰勒近似推导更新,并指出非正定 Hessian 与加对角常数的作用;不把局部模型作为全局收敛保证。 - 原始内容:在Hessian矩阵非正定时,使用牛顿法往往会使得更新往错误的方向进行……在Hessian矩阵对角线上增加常数α。