知识卡片
状态价值平均动作价值
Qπ(s,a) 对第一步动作设定为 a 的未来回报取期望。Vπ(s) 第一动作也按 π 选择,因此对 Qπ 以动作概率加权。若动作估值分别为 10 和 4,各占一半的策略状态价值为 7。这里算的是固定策略的价值。
关联:[[固定策略诱导奖励过程]]。同一策略给动作价值加权并决定状态价值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2.3 马尔可夫决策过程 · 查看原书依据
一个状态的价值可以用该状态下所有行为价值来表达
参考来源
- 位置:《强化学习入门:从原理到实践》第2章《2.3 马尔可夫决策过程》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter12.xhtml`,body 子元素 25
- 结论依据:原文用行为价值与策略概率表达状态价值。
- 原始内容:一个状态的价值可以用该状态下所有行为价值来表达