知识卡片

普通读书笔记卡 · 9881.f · 生成模型:Hunyuan

策略更新的梯度推导

理解等级:高级

顶层要找使值函数 J(θ) 最大的策略参数 θ。由于每步状态与动作都服从高斯分布,θ 出现在这些分布的均值和协方差里,于是可解析写出 J 对 θ 的梯度。当前步的均值与协方差依赖上一步的均值、协方差和当前策略参数,因此 ∂J/∂θ 可写成迭代式:把前一步梯度代入当前步,再用链式法则展开 ∂均值/∂θ 与 ∂协方差/∂θ。最后把所有时间步梯度相加得总梯度,交给共轭梯度法或随机梯度下降更新。小数值直觉:若某参数使早期状态方差下降 0.01 并让回报期望上升 0.2,梯度就会把更新步朝该方向推动;共轭梯度近似二阶曲率,比普通梯度下降迭代更少。边界在于梯度必须可解析传递,这正是选高斯过程与高斯逼近的深层原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:顶层推导给出值函数对参数的梯度迭代式、链式法则展开,并以共轭梯度或随机梯度下降收尾。 - 原始内容:该计算式其实是个迭代计算,将前一步的梯度 代入当前步梯度的计算。 除此之外,就剩下如何计算当前步的均值和协方差对参数的偏导数 和 。