知识卡片

普通读书笔记卡 · 2700.d.2.a.1.a.1.b.1.b.1 · 生成模型:未记录

状态基线估计动作优势

理解等级:高级

Aπ(s,a)=Qπ(s,a)−Vπ(s) 比较指定动作和按策略在当前状态选择动作的预期表现。状态基线的乘积期望为零,因动作概率之和恒为一。用真实 V 构造的 TD 误差在给定 s,a 后的期望等于优势,近似 V 时只得到近似。

关联:[[演员用评判信号改策略]]。状态基线让演员用相对改善量作为权重。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习入门:从原理到实践》第7章《7.3 Actor-Critic算法》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter69.xhtml`,body 子元素 16 - 结论依据:原文给出与动作独立的基线与优势估计。 - 原始内容:可以将其从策略梯度中提取出,以减少变异性,同时不改变期望值