知识卡片

普通读书笔记卡 · 9876.b · 生成模型:Hunyuan

确定性策略梯度DPG

理解等级:高级

确定性策略梯度定理给出目标 J(θ) 的梯度。设确定性策略 μ(s;θ) 把状态映到唯一动作,Q(s,a) 为动作值函数,则梯度近似为 E[∇θ μ(s;θ)·∇a Q(s,a)](在 a=μ(s) 处取值)。逐项解释符号:∇θ μ(s;θ) 是策略输出对参数的雅可比矩阵,维度为「动作维数×参数维数」,指出调参数时动作如何变;∇a Q 是值函数在当前动作处对动作的梯度,指出沿哪个方向改动作能提升 Q;二者相乘取期望即为参数更新方向。直觉是让动作朝 Q 增大的方向移动,再把这份移动翻译成参数变化。与随机策略梯度 E[Σ∇logπ(a|s;θ)·R] 相比,它少了关于动作 a 的积分(动作唯一),多了回报对动作的导数。异策略版本又去掉重要性权重:重要性采样是用简单分布估计复杂分布,而确定性策略的动作是确定值而非分布;值函数评估改用 Qlearning 的 TD(0),同样忽略重要性权重。小演算:若 ∇a Q=2、∇θ μ=1.5,则梯度方向为 3,沿此更新会同时抬高动作与 Q。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第9章 基于确定性策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00019.html) - 结论依据:原文给出式(9.5)确定性策略梯度,说明它相比随机策略梯度少了动作积分、多了回报对动作的导数;又比较(9.6)与(9.4)指出异策略版本去掉重要性权重、值函数评估用 Qlearning 的 TD(0)。 - 原始内容:(9.5)式即为确定性策略梯度。和随机策略梯度(9.3)式相比,少了对动作的积分,多了回报函数对动作的导数。