原书出处
深入浅出强化学习:原理入门
05 第5章 基于时间差分的强化学习方法
动态规划中bootstrapping的方法,在试验未结束时就估计当前的值函数呢? 答案是肯定的,这是时间差分方法的精髓。
时间差分方法结合了蒙特卡罗的采样方法(即做试验)和动态规划方法的bootstrapping(利用后继状态的值函数估计当前值函数),它的计算过程如图5.4所示。
图5.4 用时间差分方法计算值函数 用时间差分方法(TD)将值函数的公式更新为 其中 称为 TD 目标,与(5.2)中
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57