← 返回卡片

原书出处

深入浅出强化学习:原理入门

06 第6章 基于值函数逼近的强化学习方法

核验版本的摘录快照 · 导入于 2026-11-19T06:04:54.437Z

,智能体的经验即经历过的数据,对于智能体的学习并非具有同等重要的意义。智能体在某些状态的学习效率比其他状态的学习效率高。

优先回放的基本思想就是打破均匀采样,赋予学习效率高的状态以更大的采样权重。 如何选择权重?一个理想的标准是智能体学习的效率越高,权重越大。符合该标准的一个选择是TD偏差 。TD偏差越大,说明该状态处的值函数与TD目标的差距越大,智能体的更新量越大,因此该处的学习效率越高。

我们设样本 处的TD偏差为 ,则该样本处的采样概率为 其中 由 TD 偏差 决定。一般有两种方法,第一种方法是 ;第二

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html

EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57