← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.e · 生成模型:Hunyuan

状态值函数与状态-行为值函数

理解等级:中级

累积回报 G 是随机变量,不能直接当作某状态的价值,但它的期望是确定量,于是定义状态值函数 V^π(s)=E_π[G_t|s_t=s]:在策略 π 下从状态 s 出发的期望累积回报,用来评价状态好坏。它依赖 π,因为 π 决定了 G 的分布;同一状态在不同策略下价值不同。状态-行为值函数 Q^π(s,a)=E_π[G_t|s_t=s,a_t=a] 则进一步固定当前动作,评价在 s 采取 a 的期望回报,是把状态与动作配对后的价值。小演算:若某状态三种后续回报为 10、0、-10,概率 0.5、0.3、0.2,则 V=0.5×10+0.3×0+0.2×(-10)=3。原文图2.4给出 υπ(s1)=-2.3、υπ(s2)=-1.3、υπ(s3)=2.7、υπ(s4)=7.4、υπ(s5)=0,可见 s4 最有价值。V 是 Q 按策略对动作加权平均的结果,即 V^π(s)=Σ_a π(a|s) Q^π(s,a)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html) - 结论依据:原文定义累积回报期望为状态值函数,强调其依赖策略 π,并给出各状态值函数数值与状态-行为值函数定义。 - 原始内容:累积回报在状态s处的期望值定义为状态-值函数: 注意:状态值函数是与策略π相对应的,这是因为策略π决定了累积回报G的状态分布。