知识卡片
Sarsa资格迹记录状态动作
将资格迹用于 Sarsa 时,以状态和实际动作作为表键,使用真实下一动作构成 TD 目标。发生误差时,整张表里仍有迹的状态动作对都会按其迹参与更新。进入新回合要清除上个回合的迹。若只改当前这一项,就丢失了多步传播奖励的作用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 资格迹
原书出处 · 1 处
- 资格迹 6.6.2 后向Sarsa(λ)方法 · 查看原书依据
后向Sarsa(λ)算法通过引入资格迹,将当前行为值函数误差按比例抛给其他状态行为值函数,作为其更新的依据。不同的是,资格迹不再是Et(s),而是Et(s,a),即针对每一个状态行为对都有一个资格迹,公式如下:
参考来源
- 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_6_2`)
- 结论依据:原文把状态迹替换为状态动作对的迹,并给出同策略 TD 误差与加权更新。
- 原始内容:后向Sarsa(λ)算法通过引入资格迹,将当前行为值函数误差按比例抛给其他状态行为值函数,作为其更新的依据。不同的是,资格迹不再是Et(s),而是Et(s,a),即针对每一个状态行为对都有一个资格迹,公式如下: