知识卡片
贪心改进比较旧策略动作值
先在旧策略下计算各状态的动作值,再让新策略选旧动作值最高的动作。每个状态第一步这样换不会降低以旧策略继续时的预期价值。在有界的折扣设置下逐步把后续动作也换成新策略,极限得到全程执行新策略的值,至少和旧策略一样高。一次贪心改进通常还需要继续迭代。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 强化学习 · 查看原书依据
此式的目的是获得最优的状态值函数.这里取了两层最优,分别是采用最优策略和选取使得状态动作值函数最大的动作.
参考来源
- 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.14))
- 结论依据:式(16.14)和(16.16)用动作最大值和反复代入证明策略价值不下降。
- 原始内容:此式的目的是获得最优的状态值函数.这里取了两层最优,分别是采用最优策略和选取使得状态动作值函数最大的动作.