← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9875.l · 生成模型:Hunyuan

无约束优化方法

理解等级:中级

有了数据,强化学习最终化为优化问题。无约束优化 min f(θ) 的常用方法按利用导数的阶数递进:最速下降法沿负梯度 −∇f 走,迭代 θ←θ−α∇f,仅用一阶信息、收敛慢;牛顿法用二阶Hessian矩阵 H,通过解 HΔθ=−∇f 得 Δθ=−H^{-1}∇f,具有二阶收敛速度,但要求 H 正定、初始点足够接近极小点,否则可能不收敛。为修正牛顿法,可用阻尼牛顿法加线搜索保证函数值非增,或在 H 非正定时退回负梯度方向。TRPO求更新量时用的共轭梯度法也是这一类:它不解逆矩阵而是迭代解线性方程组。理解这些方法有助于看清TRPO为何选“一阶目标+二阶约束+共轭梯度”:兼顾收敛速度与大规模可行性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文系统介绍最速下降法、牛顿法、阻尼牛顿法与修正牛顿法、共轭梯度法,并说明牛顿法比最速下降法收敛快、但依赖Hessian正定与初始点接近极小点。 - 原始内容:和最速下降法相比,牛顿法利用了优化函数的局部二阶导数,因此具有二阶收敛性,比最速下降法收敛速度快。 在使用牛顿法的时候,我们已经假设了初始点足够接近极小点,否则可能会导致算法不收敛。