← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3796.f.1

DQN回放与目标网络稳定训练

理解等级:中级

DQN 用网络 Q(s,a|θ) 近似动作价值,即在状态 s 做动作 a 的长期回报。训练目标是 Y=r+γ·max_{a’}Q(s’,a’|θ⁻),损失为 (Y−Q(s,a|θ))² 的期望;目标里用到网络自己对下一状态 s’ 的估计,这叫自举。

两个稳定机制:

  1. 经验回放:把 (s,a,r,s’) 存入回放池,随机抽小批量学习,减弱连续帧样本彼此高度相关的问题。
  2. 目标网络:Y 由另一套参数 θ⁻ 计算,θ⁻ 在 N 轮内保持不变,再复制当前参数 θ。否则每次更新 θ 都会同时移动目标,像追自己的影子。

两种机制缓解训练不稳定,却不保证收敛;终止状态的目标应只取 r,不继续累加未来价值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 2 1 . 3 . 2 S A R 图 像 语 义 分 割 动 态 调 优 策 略 · 查看原书依据

      通过实时更新θ,每当当前值网络经过N轮迭代,就将其参数复制给目标值网络,通过最小化当前Q值和目标Q值之间的均方误差来更新网络参数,误差函数为: 对参数θ求偏导,得到梯度: 引入目标值网络后,在一段时间内目标Q值是保持不变的,一定程度上降低了当前Q值和目标Q值之间的相关性,提升了算法的稳定性。

    参考来源

    - 位置:《智能算法导论》第 207 项《2 1 . 3 . 2 S A R 图 像 语 义 分 割 动 态 调 优 策 略》(源文件:`_epub-src/EPUB/xhtml/chapter21_0008.xhtml`) - 结论依据:正文描述经验回放和周期复制目标网络,式21-19体现均方误差;式21-20的梯度符号/系数及目标最大化下标有疑点,未照抄为实现。 - 原始内容:采取随机批抽样的方式从D中抽取一小批样本进行学习……每当当前值网络经过N轮迭代,就将其参数复制给目标值网络……降低了当前Q值和目标Q值之间的相关性。