原书出处
深入浅出强化学习:原理入门
06 第6章 基于值函数逼近的强化学习方法
为 TD 目标,在计算 值时用到的网络参数为。 图6.9 行为值函数逼近网络 我们称计算TD目标时所用的网络为TD网络。
在DQN算法出现之前,利用神经网络逼近值函数时,计算 TD 目标的动作值函数所用的网络参数,与梯度计算中要逼近的值函数所用的网络参数相同,这样就容易导致数据间存在关联性,从而使训练不稳定。
为了解决此问题,DeepMind提出计算TD目标的网络表示为;计算值函数逼近的网络表示为;用于动作值函数逼近的网络每一步
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57