原书出处
深入浅出强化学习:原理入门
06 第6章 基于值函数逼近的强化学习方法
,智能体的经验即经历过的数据,对于智能体的学习并非具有同等重要的意义。智能体在某些状态的学习效率比其他状态的学习效率高。
优先回放的基本思想就是打破均匀采样,赋予学习效率高的状态以更大的采样权重。 如何选择权重?一个理想的标准是智能体学习的效率越高,权重越大。符合该标准的一个选择是TD偏差 。TD偏差越大,说明该状态处的值函数与TD目标的差距越大,智能体的更新量越大,因此该处的学习效率越高。
我们设样本 处的TD偏差为 ,则该样本处的采样概率为 其中 由 TD 偏差 决定。一般有两种方法,第一种方法是 ;第二
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57