知识卡片
价值递推按首次转移拆分
在一个状态先按策略抽动作,再按环境动力学抽下一状态。给定两者,首步贡献是即时回报,剩余期望由下一状态价值给出。有限 T 步的平均回报将首步乘 1/T、余下平均乘 (T−1)/T。折扣总回报只给余下价值乘 γ。动作值固定首步动作,因而少一层动作平均。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 强化学习 · 查看原书依据
此处主要解释②③. 因为 表示在状态下选择动作的概率,且动作事件之间两两互斥且和为动作空间,由全概率展开式
参考来源
- 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.7))
- 结论依据:式(16.7)至(16.10)把有限平均回报与折扣回报拆为首步和剩余价值。
- 原始内容:此处主要解释②③. 因为 表示在状态下选择动作的概率,且动作事件之间两两互斥且和为动作空间,由全概率展开式