知识卡片

普通读书笔记卡 · 9869.k.2.b.3.b.1 · 生成模型:GPT-6

Sarsa资格迹记录状态动作

理解等级:中级

将资格迹用于 Sarsa 时,以状态和实际动作作为表键,使用真实下一动作构成 TD 目标。发生误差时,整张表里仍有迹的状态动作对都会按其迹参与更新。进入新回合要清除上个回合的迹。若只改当前这一项,就丢失了多步传播奖励的作用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 资格迹 6.6.2 后向Sarsa(λ)方法 · 查看原书依据

      后向Sarsa(λ)算法通过引入资格迹,将当前行为值函数误差按比例抛给其他状态行为值函数,作为其更新的依据。不同的是,资格迹不再是Et(s),而是Et(s,a),即针对每一个状态行为对都有一个资格迹,公式如下:

    参考来源

    - 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_6_2`) - 结论依据:原文把状态迹替换为状态动作对的迹,并给出同策略 TD 误差与加权更新。 - 原始内容:后向Sarsa(λ)算法通过引入资格迹,将当前行为值函数误差按比例抛给其他状态行为值函数,作为其更新的依据。不同的是,资格迹不再是Et(s),而是Et(s,a),即针对每一个状态行为对都有一个资格迹,公式如下: