知识卡片
DQN目标网络
DQN 用神经网络近似 Q 函数,以替代状态和动作过多时无法使用的 Q 表。除了 Q 网络,DQN 还增加一个 target Q 网络专门计算目标值:它与 Q 网络结构和初始权重相同,但 Q 网络每一步都更新,target Q 网络隔一段时间才同步一次,让计算目标值所用的参数在一段时间内保持不变。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第7章《生成网络和强化学习》(源文件:_epub-src/OEBPS/Text/chapter7-7-2.xhtml)
- 结论依据:原文说明DQN属于value-based算法,状态和动作太多时用近似函数代替Q-table;除Q函数网络外,DQN增加target Q网络计算target值,其结构和初始权重与Q网络一致,Q网络每步更新,target Q网络间隔一段时间才更新。
- 原始内容:除了Q函数网络,DQN还增加了target Q网络,计算target值。它和Q函数的网络构造、初始权重都一致。Q函数网络每次迭代step都更新,target Q网络是间隔一段时间再进行更新。