知识卡片
Dueling DQN
前述DQN及其变种都用卷积网络直接逼近动作值函数Q。Dueling DQN改的是网络结构:利用Q可分解为状态值V与优势函数A这一恒等式,用两个分支分别逼近V和A,再在输出层汇合得到Q。这样网络能学到哪些状态有价值与各动作相对优势两套表示,在动作选择差异不大的状态下学习效率更高。它与其他变种正交,可叠加在Double DQN、优先回放之上。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
Dueling DQN则从网络结构上改进了 DQN。动作值函数可以分解为状态值函数和优势函数(本书第 8 章有形象的解释),即 前面介绍的各类DQN方法,直接利用神经网络逼近 ,Dueling DQN则对 分别利用神经网络逼近,其网络结构如图6.10c所示。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文指出Dueling DQN从网络结构上改进DQN,把Q分解为状态值函数与优势函数并分别用网络逼近。
- 原始内容:Dueling DQN则从网络结构上改进了 DQN。动作值函数可以分解为状态值函数和优势函数(本书第 8 章有形象的解释),即 前面介绍的各类DQN方法,直接利用神经网络逼近 ,Dueling DQN则对 分别利用神经网络逼近,其网络结构如图6.10c所示。