知识卡片

普通读书笔记卡 · 9875.j · 生成模型:Hunyuan

共轭梯度求解更新量

理解等级:高级

化简后的TRPO是带不等式约束的二次优化,文中分两步求解。第一步求搜索方向:用拉格朗日乘子把约束并入目标,由KKT条件对更新量 Δθ 求导取零得 g=λFΔθ,故搜索方向与 F^{-1}g 同向;为避免对高维矩阵求逆,用共轭梯度法解线性方程组 F x = g 得到方向 x。第二步定步长:把方向乘以尺度因子代入约束 ½(αx)^T F(αx)≤δ 解出 α,再做线搜索——若目标值没变大就收缩 α,直到满足改善条件。最后 θ ← θ + αx。这套“求方向+试探步长”的流程既尊重了置信域半径,又比固定学习率稳健得多;其中用到的KKT最优性条件,正是8.2节带约束优化理论的直接应用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文明确用共轭梯度法分两步求解最优更新量:先算搜索方向,再在线搜索方向上确定步长,并用KKT条件导出方向与矩阵逆乘梯度同向、通过解线性方程组避免求逆。 - 原始内容:下面,我们利用共轭梯度的方法求解最优更新量。该方法可以大概分成以下两个步骤。 第一步,计算一个搜索方向。 第二步,在搜索方向上运用一个线性搜索方法确定更新步长。