知识卡片

普通读书笔记卡 · 9869.k.4.a.1.c.1.a · 生成模型:GPT-6

贪心改进比较长远价值

理解等级:高级

计算 Qπ(s,a) 时,先指定当前动作,随后继续用原策略 π。新决策在每个状态选 Qπ 最大的动作,至少能达到原策略对动作平均的 Vπ(s)。若后继状态也同样改进,把这个不等式沿轨迹展开便得到新策略价值不低于旧策略。单轮改进依据原策略的长远价值,通常仍须重新评估新策略并多轮改进才达到最优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 动态规划 3.3 策略改进 · 查看原书依据

      令动作改变后对应的策略为π',a'为在状态s下遵循策略π'选取的动作,同理a″为在状态s'下遵循策略π'选取的动作。改变动作的条件是Qπ(s,a')≥Vπ(s),则可得

    参考来源

    - 位置:《强化学习》第03章《动态规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-012.xhtml#isbn9787302538295_3_1_3`) - 结论依据:原文以 Qπ(s,a′)≥Vπ(s) 为起点逐步展开后续回报,得到策略改进的单调性。 - 原始内容:令动作改变后对应的策略为π',a'为在状态s下遵循策略π'选取的动作,同理a″为在状态s'下遵循策略π'选取的动作。改变动作的条件是Qπ(s,a')≥Vπ(s),则可得