原书出处
深入浅出强化学习:原理入门
05 第5章 基于时间差分的强化学习方法
束就可以更新当前状态的值函数? 有!这种增量式的更新方法需要利用 的后向观点。 如图 5.10 所示为 后向观点示意图。
人骑坐在状态流上,手里拿着话筒,面朝已经经历过的状态流,获得当前回报并利用下一个状态的值函数得到TD偏差后,此人会向已经经历过的状态喊话,告诉这些状态处的值函数需要利用当前时刻的 TD偏差更新。
此时过往的每个状态值函数更新的大小应该与距离当前状态的步数有关。假设当前状态为 ,TD偏差为 ,那么 处的值函数更新应该
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57