知识卡片

普通读书笔记卡 · 9941.b · 生成模型:GPT-6

SARSA用实际下一动作自举

理解等级:中级

一次经验包含状态、动作、即时回报、后继状态以及策略实际选中的下一动作。目标等于即时回报加折扣后的下一状态动作值。用它减去旧估计得到时序差分误差,并按学习率修正旧值。终止状态的后续价值为零。若把下一动作换成贪心最大值,更新对应另一种方法。

一步目标的期望对应[[价值递推按首次转移拆分]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.31)) - 结论依据:式(16.31)用一次转移及下一动作的当前估计组成更新目标。 - 原始内容:而表示步的奖赏,即状态变化到的奖赏加上前面步奖赏总和的折扣,因此这个式子成立.