知识卡片
目标网络机制
早期用神经网络逼近值函数时,计算TD目标的网络参数与待逼近网络参数相同,二者相互耦合造成数据关联、训练不稳。DQN的解决办法是拆成两个网络:动作值函数逼近网络每步更新,TD目标网络每隔固定步数才复制一次参数。这样目标在短期内保持冻结,切断了自举目标的自我追逐,显著提高稳定性,其代价是以目标更新滞后换取训练平稳。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
在DQN算法出现之前,利用神经网络逼近值函数时,计算 TD 目标的动作值函数所用的网络参数,与梯度计算中要逼近的值函数所用的网络参数相同,这样就容易导致数据间存在关联性,从而使训练不稳定。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文描述了两网参数相同导致不稳定的问题,以及DeepMind用两个更新频率不同的网络来降低关联的做法。
- 原始内容:在DQN算法出现之前,利用神经网络逼近值函数时,计算 TD 目标的动作值函数所用的网络参数,与梯度计算中要逼近的值函数所用的网络参数相同,这样就容易导致数据间存在关联性,从而使训练不稳定。