知识卡片

普通读书笔记卡 · 3796.d.1

动作价值先固定一个动作

理解等级:中级

状态价值 vπ(s) 评估从状态 s 出发始终遵循策略 π 的期望折扣回报;动作价值 qπ(s,a) 先固定第一步做动作 a,之后再遵循 π。状态价值等于按策略动作概率加权的动作价值:vπ(s)=Σₐπ(a|s)qπ(s,a)。

示例:某状态下策略以 0.7 选“左”、0.3 选“右”,假设 qπ(s,左)=2、qπ(s,右)=5,则 vπ(s)=0.7×2+0.3×5=2.9。q 能看出“右”更好,而 v 只给出该策略下的平均水平。二者都依赖环境与奖励,策略改变后数值也可能改变;同一动作的即时奖励不能代替其长期价值。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 202 项《21.1.2 基于马尔可夫决策过程的强化学习》(源文件:`_epub-src/EPUB/xhtml/chapter21_0003.xhtml`) - 结论依据:式21-3、21-5、21-8分别定义动作值、状态值及策略加权关系,修正“价值仅由策略唯一确定”的省略环境前提。左右两动作的数值为依据式21-8补充的教学示例,非书中数据。 - 原始内容:状态-动作函数qπ(s,a)……状态值函数vπ(s)……对比vπ(s)和状态-动作函数qπ(s,a)可以发现如下关系。