知识卡片
Hessian曲率与牛顿法
Jacobian汇集一个向量值函数的所有一阶偏导,Hessian则是梯度的Jacobian,即二阶偏导组成的矩阵;在二阶偏导连续处Hessian实对称,可分解为特征值与正交特征向量,特征值就是各方向上的二阶导数。二阶导数衡量曲率:曲率为负时代价函数比梯度预测下降更多,为正时下降更少,步长过大甚至会让代价回升。用二阶泰勒展开近似后,沿负梯度走一步的代价变化含一个曲率校正项,据此可推出最优步长约为1/λ_max的量级,说明Hessian特征值决定学习率的合理尺度。二阶导数还用于判别临界点:Hessian正定对应极小点,负定对应极大点,同时具有正负特征值则是鞍点,存在零特征值时测试不确定。牛顿法利用二阶信息直接跳到局部近似二次函数的最小点,对正定二次函数一步收敛,明显快于梯度下降,但在鞍点附近可能被吸引而非远离。由于深度学习函数复杂、缺乏全局保证,实践常以一阶算法为主,使用牛顿法需权衡收敛加速、计算代价与鞍点风险。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 数值计算
原书出处 · 1 处
- 第4章 数值计算 · 查看原书依据
二阶导数告诉我们,一阶导数将如何随着输入的变化而改变。它表示只基于梯度信息的梯度下降步骤是否会产生如我们预期的那样大的改善,因此它是重要的。我们可以认为,二阶导数是对曲率的衡量。
参考来源
- 位置:《深度学习》第4章 数值计算(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html)
- 结论依据:原文系统给出二阶导数与曲率、Hessian特征值与最优步长、二阶导数测试,以及牛顿法在极小点附近有效而在鞍点附近有害的论述。
- 原始内容:二阶导数告诉我们,一阶导数将如何随着输入的变化而改变。它表示只基于梯度信息的梯度下降步骤是否会产生如我们预期的那样大的改善,因此它是重要的。我们可以认为,二阶导数是对曲率的衡量。