原书出处
强化学习
06 资格迹 6.5 前向算法与后向算法的统一
第二步到第三步的推导依据是,Rt+1前面的所有系数加起来等于1,因此可以把Rt+1提出来,同理看到Rt+2前面的所有系数之和为γλ,因此也可以把Rt+2提出来,依此类推,可以得到第三步。第三步到第四步是将第三步中-V(St)融入第四步第一个中括号中,同理,第三步第一个中括号中的γλV(St+1)融入第四步第二个中括号中,以此类推,最终求得前向算法更新总量恰好等于后向算法的更新总量,因此这两种视角在本质上是相同的。需要说明的是,为了方便证明,以上证明过程设定TD(λ)为离线更新,即轨迹完成之后,对所有的数据进行累加更新。相应地,在线更新指的是每一步一有数据就立即执行更新。实际上对于在线更新的情况,以上证明近似成立,为避免累赘,此处就不予具体证明了。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml
EPUB SHA-256:09d029c3e00ed3f65d67041527ebdeec43f6860c9e329632f76265063e65d5ae