知识卡片

普通读书笔记卡 · 9872.e · 生成模型:Hunyuan

TD的前向与后向视角

理解等级:高级

把TD目标从一步扩展到n步,可得到n种对当前值函数的估计;用加权因子λ把这些估计融合起来,就得到TD(λ)。前向视角把人比作骑在状态流上拿望远镜看前方:要用将来时刻的值函数估计当前值,因此必须等一幕结束后才能计算,类似蒙特卡罗。后向视角把人比作面朝已走过状态喊话:每走一步先算当前TD偏差,再按随距离衰减的适合度轨迹把这份偏差回传给之前经过的各个状态,是增量式、无需等结束的更新。二者在一次试验内对每个状态造成的更新总量相等。边界情形上,λ=0时只有当前状态被更新,退化为基本TD即TD(0);λ=1时总更新量与蒙特卡罗相同,这正体现了前向与后向视角的等价性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 基于时间差分的强化学习方法 · 查看原书依据

      人骑坐在状态流上,手里拿着话筒,面朝已经经历过的状态流,获得当前回报并利用下一个状态的值函数得到TD偏差后,此人会向已经经历过的状态喊话,告诉这些状态处的值函数需要利用当前时刻的 TD偏差更新。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html) - 结论依据:原文用望远镜与话筒的比喻解释前向、后向视角,说明后向借助适合度轨迹与TD偏差更新,并给出二者更新总量相等及λ=0、λ=1的退化结论。 - 原始内容:人骑坐在状态流上,手里拿着话筒,面朝已经经历过的状态流,获得当前回报并利用下一个状态的值函数得到TD偏差后,此人会向已经经历过的状态喊话,告诉这些状态处的值函数需要利用当前时刻的 TD偏差更新。