原书出处
深入浅出强化学习:原理入门
06 第6章 基于值函数逼近的强化学习方法
时间差分方法。根据方程(6.5),TD(0)方法中目标值函数为 ,即目标值函数用到了bootstrapping的方法。
我们注意到此时要更新的参数 不仅出现在要估计的值函数 中,还出现在目标值函数 中。若只考虑参数 对估计值函数 的影响而忽略对目标值函数 的影响,这种方法就不是完全的梯度法(只有部分梯度),因此也称为基于半梯度的TD(0)值函数评估算法,如图6.4所示。
图6.4 基于半梯度的TD(0)值函数评估算法 如图 6.5 所示为基于半梯度的 Sarsa 算法。与表格型强化学习相
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57