知识卡片
动作迹加速终点奖励回传
在 λ 和 γ 为正的设定中,终点首次给出正 TD 误差后,尚有迹的前序动作可在同一回合获得更新。一步 Sarsa 则需通过后续经历逐步把估值传远。稀疏实现可只遍历非零迹,重复经过同一对会累积权重。
关联:[[动作效用迹按回合重置]]。终止奖励通过本局未衰减完的动作迹传回。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 5.4.3 比较Sarsa和Sarsa(λ) · 查看原书依据
这个状态序列中经历的所有“状态-行为对”的Q值都将得到一个非0的更新
参考来源
- 位置:《强化学习入门:从原理到实践》第5章《5.4.3 比较Sarsa和Sarsa(λ)》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter43.xhtml`,body 子元素 11
- 结论依据:原文用零初值和只在终点给奖隔离迹的传播效应。
- 原始内容:这个状态序列中经历的所有“状态-行为对”的Q值都将得到一个非0的更新