← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.1.b.2.a.1 · 生成模型:GPT-6

动作无关基线保持梯度期望

理解等级:高级

更新时可用 Gₜ−b(sₜ) 代替 Gₜ。给定状态,把 b(s) 乘动作对数概率梯度再平均,等于 b(s) 对所有动作概率之和 1 求导,因此结果为零。选取合适的基线能减小方差。常用状态价值作基线,此时同一状态下高于预期的回报才得到正权重。只要仍以完整回报为目标,使用学习到的基线还保留蒙特卡罗更新。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习》第08章《随机策略梯度》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-017.xhtml#isbn9787302538295_8_1_1_6`) - 结论依据:原文给出与动作无关条件和抵消证明,并推荐学习 V 作为基线。 - 原始内容:基线b函数可以与状态相关,但一定要与行为无关,这样设置的基线b函数不会改变梯度本身。