知识卡片
确定性策略梯度DPG
确定性策略梯度定理给出目标 J(θ) 的梯度。设确定性策略 μ(s;θ) 把状态映到唯一动作,Q(s,a) 为动作值函数,则梯度近似为 E[∇θ μ(s;θ)·∇a Q(s,a)](在 a=μ(s) 处取值)。逐项解释符号:∇θ μ(s;θ) 是策略输出对参数的雅可比矩阵,维度为「动作维数×参数维数」,指出调参数时动作如何变;∇a Q 是值函数在当前动作处对动作的梯度,指出沿哪个方向改动作能提升 Q;二者相乘取期望即为参数更新方向。直觉是让动作朝 Q 增大的方向移动,再把这份移动翻译成参数变化。与随机策略梯度 E[Σ∇logπ(a|s;θ)·R] 相比,它少了关于动作 a 的积分(动作唯一),多了回报对动作的导数。异策略版本又去掉重要性权重:重要性采样是用简单分布估计复杂分布,而确定性策略的动作是确定值而非分布;值函数评估改用 Qlearning 的 TD(0),同样忽略重要性权重。小演算:若 ∇a Q=2、∇θ μ=1.5,则梯度方向为 3,沿此更新会同时抬高动作与 Q。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 基于确定性策略搜索的强化学习方法 · 查看原书依据
(9.5)式即为确定性策略梯度。和随机策略梯度(9.3)式相比,少了对动作的积分,多了回报函数对动作的导数。
参考来源
- 位置:《深入浅出强化学习:原理入门》第9章 基于确定性策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00019.html)
- 结论依据:原文给出式(9.5)确定性策略梯度,说明它相比随机策略梯度少了动作积分、多了回报对动作的导数;又比较(9.6)与(9.4)指出异策略版本去掉重要性权重、值函数评估用 Qlearning 的 TD(0)。
- 原始内容:(9.5)式即为确定性策略梯度。和随机策略梯度(9.3)式相比,少了对动作的积分,多了回报函数对动作的导数。