知识卡片
Double DQN抑制过估计
过估计指估计值函数高于真实值,根源在Qlearning更新式里的max操作。若误差均匀,贪婪策略不变、影响不大;但现实中过估计量不均,会误导策略变成次优。Double Qlearning的对策是解耦动作选择与动作评估:用当前网络选最大动作,用另一套网络评估该动作的值,从而削弱max带来的正向偏差。把它移植到DQN即得Double DQN,仅改TD目标的计算方式,框架与网络都不变。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
为了解决值函数过估计的问题,Hasselt 提出了 Double Qlearning 的方法。所谓Double Qlearning 是将动作的选择和动作的评估分别用不同的值函数来实现。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文指出过估计源于max操作、非均匀过估计会损害策略,并给出用不同值函数分别选择和评估动作的Double Qlearning思路。
- 原始内容:为了解决值函数过估计的问题,Hasselt 提出了 Double Qlearning 的方法。所谓Double Qlearning 是将动作的选择和动作的评估分别用不同的值函数来实现。