知识卡片
回报与两种价值
$Gt=R{t+1}+\gamma R_{t+2}+\cdots$ 是一条轨迹从当前时刻起的折扣奖励总和。折扣越小,延迟奖励在总和中的权重越低。状态价值是从该状态起遵循策略时回报的期望。动作价值把第一个动作也指定好,之后再按策略行动。对随机策略,按首步动作概率平均这些动作价值就得到状态价值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 强化学习概述 2.值函数 · 查看原书依据
状态值函数Vπ(s)表示从状态s开始,遵循当前策略π所获得的期望回报;或者说在执行当前策略π时,衡量智能体所处状态s时的价值大小。这个值可用来评价一个状态的好坏,指导智能体选择动作,使得其转移到具有较大值函数的状态上去。数学表示如下:
参考来源
- 位置:《强化学习》第01章《强化学习概述》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-010.xhtml#isbn9787302538295_1_1_2_2_2`)
- 结论依据:原文给出回报的折扣展开式和两个期望式,区别在于是否还以当前动作为条件。
- 原始内容:状态值函数Vπ(s)表示从状态s开始,遵循当前策略π所获得的期望回报;或者说在执行当前策略π时,衡量智能体所处状态s时的价值大小。这个值可用来评价一个状态的好坏,指导智能体选择动作,使得其转移到具有较大值函数的状态上去。数学表示如下: