知识卡片

普通读书笔记卡 · 9889.l · 生成模型:Hunyuan

牛顿法与二阶近似

理解等级:高级

牛顿法用二阶泰勒展开在 θ0 附近近似目标,通过 Hessian 逆重调整梯度来更新;对局部二次函数可直接跳到极小点。但它要求 Hessian 正定,而神经网络目标非凸、充满鞍点,非正特征值时更新会朝错误方向移动,常用在 Hessian 对角线加常数 α 来正则化。更大的障碍是计算:Hessian 元素数是参数数平方,求逆复杂度 O(k³),且每次迭代都要重算,故只适合参数很少的网络。共轭梯度通过构造与前一方向共轭的搜索方向避免求逆,在 k 维二次问题至多 k 次线搜索收敛。BFGS 用矩阵 M_t 迭代低秩近似 Hessian 逆,线搜索代价较低但需 O(n²) 存储;L-BFGS 不存完整矩阵,把存储降到 O(n),适合大规模模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      在第8.2.3节,我们讨论了牛顿法只适用于Hessian矩阵是正定的情况。在深度学习中,目标函数的表面通常非凸(有很多特征),如鞍点。因此使用牛顿法是有问题的。如果Hessian矩阵的特征值并不都是正的,例如,靠近鞍点处,牛顿法实际上会导致更新朝错误的方向移动。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文指出牛顿法只适用于 Hessian 正定情形,而深度学习目标非凸、靠近鞍点时特征值非正会使更新朝错误方向移动。 - 原始内容:在第8.2.3节,我们讨论了牛顿法只适用于Hessian矩阵是正定的情况。在深度学习中,目标函数的表面通常非凸(有很多特征),如鞍点。因此使用牛顿法是有问题的。如果Hessian矩阵的特征值并不都是正的,例如,靠近鞍点处,牛顿法实际上会导致更新朝错误的方向移动。