← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 2700.e.1.a.1.c.3.a.1 · 生成模型:未记录

动作迹加速终点奖励回传

理解等级:中级

在 λ 和 γ 为正的设定中,终点首次给出正 TD 误差后,尚有迹的前序动作可在同一回合获得更新。一步 Sarsa 则需通过后续经历逐步把估值传远。稀疏实现可只遍历非零迹,重复经过同一对会累积权重。

关联:[[动作效用迹按回合重置]]。终止奖励通过本局未衰减完的动作迹传回。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习入门:从原理到实践》第5章《5.4.3 比较Sarsa和Sarsa(λ)》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter43.xhtml`,body 子元素 11 - 结论依据:原文用零初值和只在终点给奖隔离迹的传播效应。 - 原始内容:这个状态序列中经历的所有“状态-行为对”的Q值都将得到一个非0的更新