知识卡片
目标网络减缓学习目标漂移
DQN 的当前网络估计 Q(s,a) 并随训练更新。目标网络先保持不动,以样本奖励加其对后继动作的最大值构成目标,之后隔若干步才从当前网络复制新参数。这样能减少每改一次预测就同时改目标的追逐现象。真正终止时不再加后继价值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 值函数逼近 7.3.1 DQN方法 · 查看原书依据
为解决上述问题,DQN算法在运行过程中引入了两个神经网络,一个网络固定参数专门用来产生TD目标,称为TD网络。另一个网络专门用来评估策略更新参数,逼近值函数,称为动作值函数逼近网络。两个网络参数不一致,用于动作值函数逼近的网络参数,每一步都更新;而用于计算TD目标的网络参数每隔固定的步数更新一次,期间保持不变。
参考来源
- 位置:《强化学习》第07章《值函数逼近》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-016.xhtml#isbn9787302538295_7_1_2_3`)
- 结论依据:原文明确分别训练当前网络和间隔复制的 TD 目标网络,案例代码也分终止与非终止计算。
- 原始内容:为解决上述问题,DQN算法在运行过程中引入了两个神经网络,一个网络固定参数专门用来产生TD目标,称为TD网络。另一个网络专门用来评估策略更新参数,逼近值函数,称为动作值函数逼近网络。两个网络参数不一致,用于动作值函数逼近的网络参数,每一步都更新;而用于计算TD目标的网络参数每隔固定的步数更新一次,期间保持不变。