知识卡片
动作无关基线保持梯度期望
更新时可用 Gₜ−b(sₜ) 代替 Gₜ。给定状态,把 b(s) 乘动作对数概率梯度再平均,等于 b(s) 对所有动作概率之和 1 求导,因此结果为零。选取合适的基线能减小方差。常用状态价值作基线,此时同一状态下高于预期的回报才得到正权重。只要仍以完整回报为目标,使用学习到的基线还保留蒙特卡罗更新。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 随机策略梯度 8.3.2 带基线的REINFORCE方法 · 查看原书依据
基线b函数可以与状态相关,但一定要与行为无关,这样设置的基线b函数不会改变梯度本身。
参考来源
- 位置:《强化学习》第08章《随机策略梯度》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-017.xhtml#isbn9787302538295_8_1_1_6`)
- 结论依据:原文给出与动作无关条件和抵消证明,并推荐学习 V 作为基线。
- 原始内容:基线b函数可以与状态相关,但一定要与行为无关,这样设置的基线b函数不会改变梯度本身。