知识卡片
DQN的三大改进
DQN在Qlearning基础上做了三项改动:用深度卷积神经网络逼近值函数(非线性参数逼近)、引入经验回放训练、独立设置目标网络处理TD偏差。它并未改变Qlearning框架,创新只在这两个技巧加一个网络替换。其意义在于让神经网络逼近值函数变得稳定可收敛,把深度学习与强化学习结合起来;但DQN仍继承Qlearning的过估计缺陷,需用后续变种修正,这也是Dueling、Double等变种的立足点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
DQN对Qlearning的修改主要体现在以下三个方面。 (1)DQN利用深度卷积神经网络逼近值函数; (2)DQN利用了经验回放训练强化学习的学习过程; (3)DQN独立设置了目标网络来单独处理时间差分算法中的TD偏差。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文概括DQN对Qlearning的三方面修改,并说明其两个创新点即经验回放与独立目标网络。
- 原始内容:DQN对Qlearning的修改主要体现在以下三个方面。 (1)DQN利用深度卷积神经网络逼近值函数; (2)DQN利用了经验回放训练强化学习的学习过程; (3)DQN独立设置了目标网络来单独处理时间差分算法中的TD偏差。