← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.2.b.2.a.2.b · 生成模型:GPT-6

竞争网络分解状态值和优势

理解等级:高级

Dueling DQN 公用前部特征,分别输出状态基准 V(s) 和每个动作相对优势 A(s,a)。直接相加时可以给 V 加常数并从每个 A 减去同一常数,Q 完全不受影响。聚合时从每个 A 减去各动作平均 A,固定这项自由度,同时保留动作价值排序。分支共同端到端训练,仍可与 Double DQN 的目标构造组合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 值函数逼近 7.3.3 Dueling DQN方法 · 查看原书依据

      上式只有一个等式,但包含两个未知数,这样就会出现一个无法识别问题:给定一个Q,无法得到唯一的V和A。比如,V和A分别加上和减去一个值能够得到同样的Q。因此,在确定的Q下,V和A有无穷多个组合,而实际中只有很小一部分的组合是合乎情理、接近真实数据的。

    参考来源

    - 位置:《强化学习》第07章《值函数逼近》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-016.xhtml#isbn9787302538295_7_1_2_5`) - 结论依据:原文给出双分支结构、可辨识性问题以及对优势分支减均值的聚合公式。 - 原始内容:上式只有一个等式,但包含两个未知数,这样就会出现一个无法识别问题:给定一个Q,无法得到唯一的V和A。比如,V和A分别加上和减去一个值能够得到同样的Q。因此,在确定的Q下,V和A有无穷多个组合,而实际中只有很小一部分的组合是合乎情理、接近真实数据的。