知识卡片
状态基线估计动作优势
Aπ(s,a)=Qπ(s,a)−Vπ(s) 比较指定动作和按策略在当前状态选择动作的预期表现。状态基线的乘积期望为零,因动作概率之和恒为一。用真实 V 构造的 TD 误差在给定 s,a 后的期望等于优势,近似 V 时只得到近似。
关联:[[演员用评判信号改策略]]。状态基线让演员用相对改善量作为权重。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 7.3 Actor-Critic算法 · 查看原书依据
可以将其从策略梯度中提取出,以减少变异性,同时不改变期望值
参考来源
- 位置:《强化学习入门:从原理到实践》第7章《7.3 Actor-Critic算法》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter69.xhtml`,body 子元素 16
- 结论依据:原文给出与动作独立的基线与优势估计。
- 原始内容:可以将其从策略梯度中提取出,以减少变异性,同时不改变期望值