知识卡片
优先回放机制
经验回放的均匀采样默认所有样本同等重要,但智能体在不同状态的学习效率并不相同。优先回放按TD偏差给样本定优先级:偏差越大说明该处值与目标差距越大、更新量越大、越值得学习,于是采样概率越高。新样本先赋予最高优先级以保证至少被用一次;由于采样分布偏离均匀分布,需用重要性采样系数修正估计偏差;为高效按优先级采样常用SumTree结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
优先回放的基本思想就是打破均匀采样,赋予学习效率高的状态以更大的采样权重。 如何选择权重?一个理想的标准是智能体学习的效率越高,权重越大。符合该标准的一个选择是TD偏差 。TD偏差越大,说明该状态处的值函数与TD目标的差距越大,智能体的更新量越大,因此该处的学习效率越高。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文说明均匀采样并非高效用数据之法,并提出以TD偏差为权重、以重要性采样系数纠偏的优先回放方案。
- 原始内容:优先回放的基本思想就是打破均匀采样,赋予学习效率高的状态以更大的采样权重。 如何选择权重?一个理想的标准是智能体学习的效率越高,权重越大。符合该标准的一个选择是TD偏差 。TD偏差越大,说明该状态处的值函数与TD目标的差距越大,智能体的更新量越大,因此该处的学习效率越高。