知识卡片
预测评价控制改善
预测固定策略,估计从各状态开始能获得多少长期回报。控制寻找表现更好的策略,经常用当前价值估计指导动作的改善。对书中的网格世界,求东南西北等概率走时各格子的价值,是预测。改变每格的行动规则以获得最大回报,是控制。同一个环境可以同时提出这两类问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 强化学习概述 1.3.3 预测与控制 · 查看原书依据
在解决一个具体的马尔可夫决策问题时,首先需要解决关于预测的问题,即评估当前这个策略有多好,具体的做法一般是求解在既定策略下的状态值函数。而后在此基础上解决关于控制的问题,即对当前策略不断优化,直到找到一个足够好的策略能够最大化未来的回报。
参考来源
- 位置:《强化学习》第01章《强化学习概述》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-010.xhtml#isbn9787302538295_1_1_2_9`)
- 结论依据:原文在同一网格环境中对比等概率随机策略的价值与最优价值和策略。
- 原始内容:在解决一个具体的马尔可夫决策问题时,首先需要解决关于预测的问题,即评估当前这个策略有多好,具体的做法一般是求解在既定策略下的状态值函数。而后在此基础上解决关于控制的问题,即对当前策略不断优化,直到找到一个足够好的策略能够最大化未来的回报。