知识卡片
贝尔曼最优在动作上取最大
贝尔曼最优方程将固定策略对首步动作的平均改为取最优动作。对每个动作先计算即时奖励加折扣后的后继最优价值期望,再比较各动作总值。随机转移的后继状态仍按概率平均。给定 Q* 后可在每个状态取任一 Q* 最大的动作。在有限折扣 MDP 中,并列最大时可以用确定性规则消除平局,也可以在这些动作内随机。若仅知 V*,从状态作贪心选择还要知道各动作的即时奖励和转移模型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 马尔可夫决策过程 2.2.2 贝尔曼最优方程 · 查看原书依据
如图2-9所示,当前状态的最优值函数V*(s)等于从该状态s出发,采取的所有行为中对应的那个最大的行为值函数。
参考来源
- 位置:《强化学习》第02章《马尔可夫决策过程》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-011.xhtml#isbn9787302538295_2_1_1_5`)
- 结论依据:原文比较最优状态价值与最优动作价值,给出两种最优策略提取方式和并列最优动作。
- 原始内容:如图2-9所示,当前状态的最优值函数V*(s)等于从该状态s出发,采取的所有行为中对应的那个最大的行为值函数。