知识卡片
竞争网络分解状态值和优势
Dueling DQN 公用前部特征,分别输出状态基准 V(s) 和每个动作相对优势 A(s,a)。直接相加时可以给 V 加常数并从每个 A 减去同一常数,Q 完全不受影响。聚合时从每个 A 减去各动作平均 A,固定这项自由度,同时保留动作价值排序。分支共同端到端训练,仍可与 Double DQN 的目标构造组合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 值函数逼近 7.3.3 Dueling DQN方法 · 查看原书依据
上式只有一个等式,但包含两个未知数,这样就会出现一个无法识别问题:给定一个Q,无法得到唯一的V和A。比如,V和A分别加上和减去一个值能够得到同样的Q。因此,在确定的Q下,V和A有无穷多个组合,而实际中只有很小一部分的组合是合乎情理、接近真实数据的。
参考来源
- 位置:《强化学习》第07章《值函数逼近》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-016.xhtml#isbn9787302538295_7_1_2_5`)
- 结论依据:原文给出双分支结构、可辨识性问题以及对优势分支减均值的聚合公式。
- 原始内容:上式只有一个等式,但包含两个未知数,这样就会出现一个无法识别问题:给定一个Q,无法得到唯一的V和A。比如,V和A分别加上和减去一个值能够得到同样的Q。因此,在确定的Q下,V和A有无穷多个组合,而实际中只有很小一部分的组合是合乎情理、接近真实数据的。