知识卡片
SARSA用实际下一动作自举
一次经验包含状态、动作、即时回报、后继状态以及策略实际选中的下一动作。目标等于即时回报加折扣后的下一状态动作值。用它减去旧估计得到时序差分误差,并按学习率修正旧值。终止状态的后续价值为零。若把下一动作换成贪心最大值,更新对应另一种方法。
一步目标的期望对应[[价值递推按首次转移拆分]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 强化学习 · 查看原书依据
而表示步的奖赏,即状态变化到的奖赏加上前面步奖赏总和的折扣,因此这个式子成立.
参考来源
- 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.31))
- 结论依据:式(16.31)用一次转移及下一动作的当前估计组成更新目标。
- 原始内容:而表示步的奖赏,即状态变化到的奖赏加上前面步奖赏总和的折扣,因此这个式子成立.