知识卡片
贝尔曼方程
贝尔曼方程把值函数写成当前即时回报加折扣乘后继状态值的递归形式,是值函数可计算、可迭代求解的关键。对状态值函数:V^π(s)=Σa π(a|s) Σ{s’} P(s’|s,a)[R(s,a,s’)+γ V^π(s’)];对状态-行为值函数:Q^π(s,a)=Σ{s’} P(s’|s,a)[R(s,a,s’)+γ Σ{a’} π(a’|s’) Q^π(s’,a’)]。符号上,π(a|s) 是策略概率,P(s’|s,a) 是转移概率,R 是立即回报,γ 是折扣因子。它体现当前价值等于即刻所得加折扣后的未来价值,把长程回报问题分解为一步自举。小演算:若 s4 下选某动作立刻得 5、γ=0.9、后继状态值 V(s5)=2.7,则该分支贡献 5+0.9×2.7=7.43,约等于原文 υ(s4)=7.4,正是原文用图2.4验证公式(2.9)的方法。贝尔曼方程把未知量 V 同时放在等式两边,由此导出迭代的策略评估算法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 马尔科夫决策过程 · 查看原书依据
(2)状态值函数与状态-行为值函数的贝尔曼方程。 由状态值函数的定义式(2.3)可以得到: (2.5)式最后一个等号的证明: 这里需要注意的是对哪些变量求期望。 同样我们可以得到状态-动作值函数的贝尔曼方程
参考来源
- 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html)
- 结论依据:原文从状态值函数定义式推导贝尔曼方程,提醒注意对哪些变量求期望,并用 s4 的 υ=7.4 验证公式(2.9)。
- 原始内容:(2)状态值函数与状态-行为值函数的贝尔曼方程。 由状态值函数的定义式(2.3)可以得到: (2.5)式最后一个等号的证明: 这里需要注意的是对哪些变量求期望。 同样我们可以得到状态-动作值函数的贝尔曼方程