知识卡片
前后向等价依赖更新时机
在一条有限回合里固定价值估计,n 步目标减原值可整理为前 n 个一步 TD 误差的折扣和。再对不同步长加权,每个未来误差的权重正好乘上相应次数的 γλ。这也等于后向迹把这一误差传回先前访问时所得的总量。证明把评估值留到回合末统一更新。若每步就改变用来计算误差的值,经典在线迹与该固定估计推导一般只近似一致。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 资格迹
原书出处 · 1 处
- 资格迹 6.5 前向算法与后向算法的统一 · 查看原书依据
第二步到第三步的推导依据是,Rt+1前面的所有系数加起来等于1,因此可以把Rt+1提出来,同理看到Rt+2前面的所有系数之和为γλ,因此也可以把Rt+2提出来,依此类推,可以得到第三步。第三步到第四步是将第三步中-V(St)融入第四步第一个中括号中,同理,第三步第一个中括号中的γλV(St+1)融入第四步第二个中括号中,以此类推,最终求得前向算法更新总量恰好等于后向算法的更新总量,因此这两种视角在本质上是相同的。需要说明的是,为了方便证明,以上证明过程设定TD(λ)为离线更新,即轨迹完成之后,对所有的数据进行累加更新。相应地,在线更新指的是每一步一有数据就立即执行更新。实际上对于在线更新的情况,以上证明近似成立,为避免累赘,此处就不予具体证明了。
参考来源
- 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_5`)
- 结论依据:原文从前向 λ 回报把中间价值项消去,并明确证明采用回合后批量更新。
- 原始内容:第二步到第三步的推导依据是,Rt+1前面的所有系数加起来等于1,因此可以把Rt+1提出来,同理看到Rt+2前面的所有系数之和为γλ,因此也可以把Rt+2提出来,依此类推,可以得到第三步。第三步到第四步是将第三步中-V(St)融入第四步第一个中括号中,同理,第三步第一个中括号中的γλV(St+1)融入第四步第二个中括号中,以此类推,最终求得前向算法更新总量恰好等于后向算法的更新总量,因此这两种视角在本质上是相同的。需要说明的是,为了方便证明,以上证明过程设定TD(λ)为离线更新,即轨迹完成之后,对所有的数据进行累加更新。相应地,在线更新指的是每一步一有数据就立即执行更新。实际上对于在线更新的情况,以上证明近似成立,为避免累赘,此处就不予具体证明了。