知识卡片
拟牛顿法与BFGS
牛顿法的两大软肋是Hessian阵不一定正定,且每步计算二阶导数在大规模问题上代价惊人。拟牛顿法不直接算 Hessian,而是用一阶信息(相邻迭代点的坐标差 s_k 与梯度差 y_k)逐步逼近 Hessian 或其逆,使其满足拟牛顿方程。秩1修正只加一个秩1矩阵来更新近似;更流行的是BFGS——用两个秩1修正相加构成秩2修正来更新近似矩阵,始终保持对称正定;DFP则是最早的拟牛顿矫正法,推导与之类似。在深度学习与强化学习的大规模场景,正是这类拟牛顿思想让二阶方法变得可用。它补上了TRPO推导中“用Fisher矩阵刻画曲率却又避免直接求逆”的同一条思路。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
拟牛顿法的基本思想是并不直接计算优化函数的二阶Hessian矩阵,而是通过逼近的方法寻找Hessian阵 的近似矩阵 。
参考来源
- 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html)
- 结论依据:正文指出拟牛顿法为解决Hessian阵不一定正定与计算量大而提出,用一阶导数与坐标信息逼近Hessian矩阵,并介绍秩1、秩2修正以及BFGS与DFP方法。
- 原始内容:拟牛顿法的基本思想是并不直接计算优化函数的二阶Hessian矩阵,而是通过逼近的方法寻找Hessian阵 的近似矩阵 。