知识卡片

普通读书笔记卡 · 9869.k.4.a.1.b · 生成模型:GPT-6

贝尔曼最优在动作上取最大

理解等级:高级

贝尔曼最优方程将固定策略对首步动作的平均改为取最优动作。对每个动作先计算即时奖励加折扣后的后继最优价值期望,再比较各动作总值。随机转移的后继状态仍按概率平均。给定 Q* 后可在每个状态取任一 Q* 最大的动作。在有限折扣 MDP 中,并列最大时可以用确定性规则消除平局,也可以在这些动作内随机。若仅知 V*,从状态作贪心选择还要知道各动作的即时奖励和转移模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习》第02章《马尔可夫决策过程》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-011.xhtml#isbn9787302538295_2_1_1_5`) - 结论依据:原文比较最优状态价值与最优动作价值,给出两种最优策略提取方式和并列最优动作。 - 原始内容:如图2-9所示,当前状态的最优值函数V*(s)等于从该状态s出发,采取的所有行为中对应的那个最大的行为值函数。