知识卡片
最优值函数与贝尔曼最优方程
每个策略对应一个值函数,最优策略对应最优值函数。最优状态值函数 V(s)=max_π V^π(s) 是所有策略中该状态价值的最大者;最优状态-行为值函数 Q(s,a)=max_π Q^π(s,a) 是在状态 s 采取动作 a 的最大期望回报。把取最大代入贝尔曼方程即得贝尔曼最优方程:V(s)=maxa Σ{s’} P(s’|s,a)[R+γ V(s’)],Q(s,a)=Σ{s’} P(s’|s,a)[R+γ max{a’} Q(s’,a’)]。与贝尔曼方程的区别是把对策略的期望换成对动作的 max,不再平均而是选最好的动作,这正是最优的来源。小演算:若 s 处两动作 Q 值分别为 3 和 7,则 V*(s)=max(3,7)=7,并选第二个动作。若已知 Q,最优策略可直接由 π(a|s)=argmax_a Q*(s,a) 给出。图2.7中虚线箭头即最优策略方向。局限在于连续或巨大动作空间下 max 与 argmax 难以精确求解,需借助函数逼近。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 马尔科夫决策过程 · 查看原书依据
定义:最优状态值函数υ* (s) 为在所有策略中值最大的值函数,即 ,最优状态-行为值函数q* (s,a)为在所有策略中最大的状态-行为值函数,即 我们由(2.9)式和(2.11)式分别得到最优状态值函数和最优状态-行动值函数的贝尔曼最优方程:
参考来源
- 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html)
- 结论依据:原文定义最优值函数为所有策略中最大的值函数,导出贝尔曼最优方程,并指出可由最大化 q* 决定最优策略。
- 原始内容:定义:最优状态值函数υ* (s) 为在所有策略中值最大的值函数,即 ,最优状态-行为值函数q* (s,a)为在所有策略中最大的状态-行为值函数,即 我们由(2.9)式和(2.11)式分别得到最优状态值函数和最优状态-行动值函数的贝尔曼最优方程: