知识卡片
动作价值先固定一个动作
状态价值 vπ(s) 评估从状态 s 出发始终遵循策略 π 的期望折扣回报;动作价值 qπ(s,a) 先固定第一步做动作 a,之后再遵循 π。状态价值等于按策略动作概率加权的动作价值:vπ(s)=Σₐπ(a|s)qπ(s,a)。
示例:某状态下策略以 0.7 选“左”、0.3 选“右”,假设 qπ(s,左)=2、qπ(s,右)=5,则 vπ(s)=0.7×2+0.3×5=2.9。q 能看出“右”更好,而 v 只给出该策略下的平均水平。二者都依赖环境与奖励,策略改变后数值也可能改变;同一动作的即时奖励不能代替其长期价值。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 1 . 1 . 2 基 于 马 尔 可 夫 决 策 过 程 的 强 化 学 习 · 查看原书依据
对比vπ(s)和状态-动作函数qπ(s,a)可以发现如下关系: 其中的关系为贝尔曼方程,可以得到状态-行为函数的贝尔曼方程: 状态值函数vπ(s)可以改写为: 再将qπ(s,a)改写成: 定义最优的状态值函数。
参考来源
- 位置:《智能算法导论》第 202 项《21.1.2 基于马尔可夫决策过程的强化学习》(源文件:`_epub-src/EPUB/xhtml/chapter21_0003.xhtml`)
- 结论依据:式21-3、21-5、21-8分别定义动作值、状态值及策略加权关系,修正“价值仅由策略唯一确定”的省略环境前提。左右两动作的数值为依据式21-8补充的教学示例,非书中数据。
- 原始内容:状态-动作函数qπ(s,a)……状态值函数vπ(s)……对比vπ(s)和状态-动作函数qπ(s,a)可以发现如下关系。