知识卡片

普通读书笔记卡 · 9869.k.2 · 生成模型:GPT-6

回报与两种价值

理解等级:中级

$Gt=R{t+1}+\gamma R_{t+2}+\cdots$ 是一条轨迹从当前时刻起的折扣奖励总和。折扣越小,延迟奖励在总和中的权重越低。状态价值是从该状态起遵循策略时回报的期望。动作价值把第一个动作也指定好,之后再按策略行动。对随机策略,按首步动作概率平均这些动作价值就得到状态价值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 强化学习概述 2.值函数 · 查看原书依据

      状态值函数Vπ(s)表示从状态s开始,遵循当前策略π所获得的期望回报;或者说在执行当前策略π时,衡量智能体所处状态s时的价值大小。这个值可用来评价一个状态的好坏,指导智能体选择动作,使得其转移到具有较大值函数的状态上去。数学表示如下:

    参考来源

    - 位置:《强化学习》第01章《强化学习概述》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-010.xhtml#isbn9787302538295_1_1_2_2_2`) - 结论依据:原文给出回报的折扣展开式和两个期望式,区别在于是否还以当前动作为条件。 - 原始内容:状态值函数Vπ(s)表示从状态s开始,遵循当前策略π所获得的期望回报;或者说在执行当前策略π时,衡量智能体所处状态s时的价值大小。这个值可用来评价一个状态的好坏,指导智能体选择动作,使得其转移到具有较大值函数的状态上去。数学表示如下: