知识卡片

普通读书笔记卡 · 2700.d.2.a.1.a.1.b.1.b.3.c · 生成模型:GPT-6

用TD误差估计动作优势

理解等级:高级

优势衡量特定动作相对同一状态通常表现好多少。若 V 是真实的策略价值,给定 s、a 后,r+γV(s′)−V(s) 的期望就是 Q(s,a)−V(s)。因此用一个 V 网络就能估计优势,让行动者提高正优势动作的概率。实践中 V 由模型拟合,TD 误差只是近似优势,不必再单独维持一套 Q 网络。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习》第09章《Actor-Critic及变种》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml#isbn9787302538295_9_1_2`) - 结论依据:原文先引入动作无关基线,再对比双值函数与使用一套状态价值参数估计优势。 - 原始内容:不过实际操作时,一般用TD误差代替优势数进行计算,因为TD误差是优势函数的无偏估计。