知识卡片
用TD误差估计动作优势
优势衡量特定动作相对同一状态通常表现好多少。若 V 是真实的策略价值,给定 s、a 后,r+γV(s′)−V(s) 的期望就是 Q(s,a)−V(s)。因此用一个 V 网络就能估计优势,让行动者提高正优势动作的概率。实践中 V 由模型拟合,TD 误差只是近似优势,不必再单独维持一套 Q 网络。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Actor-Critic及变种 9.2 A2C方法 · 查看原书依据
不过实际操作时,一般用TD误差代替优势数进行计算,因为TD误差是优势函数的无偏估计。
参考来源
- 位置:《强化学习》第09章《Actor-Critic及变种》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml#isbn9787302538295_9_1_2`)
- 结论依据:原文先引入动作无关基线,再对比双值函数与使用一套状态价值参数估计优势。
- 原始内容:不过实际操作时,一般用TD误差代替优势数进行计算,因为TD误差是优势函数的无偏估计。