← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9875.m · 生成模型:Hunyuan

拟牛顿法与BFGS

理解等级:高级

牛顿法的两大软肋是Hessian阵不一定正定,且每步计算二阶导数在大规模问题上代价惊人。拟牛顿法不直接算 Hessian,而是用一阶信息(相邻迭代点的坐标差 s_k 与梯度差 y_k)逐步逼近 Hessian 或其逆,使其满足拟牛顿方程。秩1修正只加一个秩1矩阵来更新近似;更流行的是BFGS——用两个秩1修正相加构成秩2修正来更新近似矩阵,始终保持对称正定;DFP则是最早的拟牛顿矫正法,推导与之类似。在深度学习与强化学习的大规模场景,正是这类拟牛顿思想让二阶方法变得可用。它补上了TRPO推导中“用Fisher矩阵刻画曲率却又避免直接求逆”的同一条思路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文指出拟牛顿法为解决Hessian阵不一定正定与计算量大而提出,用一阶导数与坐标信息逼近Hessian矩阵,并介绍秩1、秩2修正以及BFGS与DFP方法。 - 原始内容:拟牛顿法的基本思想是并不直接计算优化函数的二阶Hessian矩阵,而是通过逼近的方法寻找Hessian阵 的近似矩阵 。