知识卡片

普通读书笔记卡 · 9941.a · 生成模型:GPT-6

贪心改进比较旧策略动作值

理解等级:中级

先在旧策略下计算各状态的动作值,再让新策略选旧动作值最高的动作。每个状态第一步这样换不会降低以旧策略继续时的预期价值。在有界的折扣设置下逐步把后续动作也换成新策略,极限得到全程执行新策略的值,至少和旧策略一样高。一次贪心改进通常还需要继续迭代。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.14)) - 结论依据:式(16.14)和(16.16)用动作最大值和反复代入证明策略价值不下降。 - 原始内容:此式的目的是获得最优的状态值函数.这里取了两层最优,分别是采用最优策略和选取使得状态动作值函数最大的动作.