知识卡片

普通读书笔记卡 · 9873.k · 生成模型:Hunyuan

Dueling DQN

理解等级:高级

前述DQN及其变种都用卷积网络直接逼近动作值函数Q。Dueling DQN改的是网络结构:利用Q可分解为状态值V与优势函数A这一恒等式,用两个分支分别逼近V和A,再在输出层汇合得到Q。这样网络能学到哪些状态有价值与各动作相对优势两套表示,在动作选择差异不大的状态下学习效率更高。它与其他变种正交,可叠加在Double DQN、优先回放之上。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 基于值函数逼近的强化学习方法 · 查看原书依据

      Dueling DQN则从网络结构上改进了 DQN。动作值函数可以分解为状态值函数和优势函数(本书第 8 章有形象的解释),即 前面介绍的各类DQN方法,直接利用神经网络逼近 ,Dueling DQN则对 分别利用神经网络逼近,其网络结构如图6.10c所示。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html) - 结论依据:正文指出Dueling DQN从网络结构上改进DQN,把Q分解为状态值函数与优势函数并分别用网络逼近。 - 原始内容:Dueling DQN则从网络结构上改进了 DQN。动作值函数可以分解为状态值函数和优势函数(本书第 8 章有形象的解释),即 前面介绍的各类DQN方法,直接利用神经网络逼近 ,Dueling DQN则对 分别利用神经网络逼近,其网络结构如图6.10c所示。