知识卡片

普通读书笔记卡 · 9873.i · 生成模型:Hunyuan

Double DQN抑制过估计

理解等级:高级

过估计指估计值函数高于真实值,根源在Qlearning更新式里的max操作。若误差均匀,贪婪策略不变、影响不大;但现实中过估计量不均,会误导策略变成次优。Double Qlearning的对策是解耦动作选择与动作评估:用当前网络选最大动作,用另一套网络评估该动作的值,从而削弱max带来的正向偏差。把它移植到DQN即得Double DQN,仅改TD目标的计算方式,框架与网络都不变。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html) - 结论依据:正文指出过估计源于max操作、非均匀过估计会损害策略,并给出用不同值函数分别选择和评估动作的Double Qlearning思路。 - 原始内容:为了解决值函数过估计的问题,Hasselt 提出了 Double Qlearning 的方法。所谓Double Qlearning 是将动作的选择和动作的评估分别用不同的值函数来实现。