知识卡片
策略梯度分解为概率与价值
回报取决于会去哪些状态以及到达后怎样行动。策略梯度定理把两项影响合并到状态访问分布下的动作梯度:对遇到的状态和采到的动作,以 Qπ(s,a) 乘 ∇logπ(a|s)。所以计算时无需显式求访问分布对参数的导数。回合级折扣目标按折扣访问频率计权,持续平均回报模型使用稳态访问分布与差分价值;二者的目标定义要配套。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 随机策略梯度 8.2.1 随机策略梯度定理 · 查看原书依据
策略梯度定理很好地解决了这个问题,提供给我们一个关于目标函数梯度的表达式。将完整轨迹(Episodic Case)和持续时间步(Continuing Case)定义的两种目标函数J(θ)的梯度,理论上统一成一种表达式。并且,表达式中不涉及关于状态分布对于策略参数的导数,表示如下:
参考来源
- 位置:《强化学习》第08章《随机策略梯度》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-017.xhtml#isbn9787302538295_8_1_1_3`)
- 结论依据:原文分别从回合的初始值与持续任务的平均回报推导共同的梯度形式。
- 原始内容:策略梯度定理很好地解决了这个问题,提供给我们一个关于目标函数梯度的表达式。将完整轨迹(Episodic Case)和持续时间步(Continuing Case)定义的两种目标函数J(θ)的梯度,理论上统一成一种表达式。并且,表达式中不涉及关于状态分布对于策略参数的导数,表示如下: