知识卡片
共轭梯度求解更新量
化简后的TRPO是带不等式约束的二次优化,文中分两步求解。第一步求搜索方向:用拉格朗日乘子把约束并入目标,由KKT条件对更新量 Δθ 求导取零得 g=λFΔθ,故搜索方向与 F^{-1}g 同向;为避免对高维矩阵求逆,用共轭梯度法解线性方程组 F x = g 得到方向 x。第二步定步长:把方向乘以尺度因子代入约束 ½(αx)^T F(αx)≤δ 解出 α,再做线搜索——若目标值没变大就收缩 α,直到满足改善条件。最后 θ ← θ + αx。这套“求方向+试探步长”的流程既尊重了置信域半径,又比固定学习率稳健得多;其中用到的KKT最优性条件,正是8.2节带约束优化理论的直接应用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
下面,我们利用共轭梯度的方法求解最优更新量。该方法可以大概分成以下两个步骤。 第一步,计算一个搜索方向。 第二步,在搜索方向上运用一个线性搜索方法确定更新步长。
参考来源
- 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html)
- 结论依据:正文明确用共轭梯度法分两步求解最优更新量:先算搜索方向,再在线搜索方向上确定步长,并用KKT条件导出方向与矩阵逆乘梯度同向、通过解线性方程组避免求逆。
- 原始内容:下面,我们利用共轭梯度的方法求解最优更新量。该方法可以大概分成以下两个步骤。 第一步,计算一个搜索方向。 第二步,在搜索方向上运用一个线性搜索方法确定更新步长。