知识卡片

普通读书笔记卡 · 6473.d.5.a.1.a.1 · 生成模型:未记录

优势Actor-Critic比较动作与状态基线

理解等级:中级

Actor 输出策略,Critic 估计价值;优势衡量某动作相对于当前状态下策略平均表现的差异。一种一步估计是 δₜ = rₜ + γV(sₜ₊₁) − V(sₜ),终止状态的后续价值按任务定义处理。Critic 是近似模型,其误差会影响策略更新。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 强化学习 14.3.6 优势 Actor-Critic · 查看原书依据

      采取动作可以得到奖励 ,然后看到下一个画面 .接下来一直玩下去,有很多不同的可能,每个可能都会得到一个奖励,把这些奖励平均以后的结果就是 . 需要玩很多次游戏,才能得到这个平均值.但我们可以训练出一个好的 Critic,在 这个画面下,得到累积奖励的期望值.在 这边采取动作 会得到奖励 ,再跳到 ,在这边会得到期望的奖励 .所以 代表在 这边采取动作会得到的奖励的期望值.把 换成 ,如图14.28 所示.如果 ,则代表动作 比从一个分布中随便采样到的动作好;反之,则代表动作 比从一个分布中随机采样到的动作差.在优势 Actor-Critic中, 就是 +.

    参考来源

    - 位置:《深度学习详解》第14章《强化学习》14.3.6 优势 Actor-Critic(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter14.xhtml`) - 结论依据:原文描述折扣、基线、策略数据分布与价值估计,书中示意公式结合上下文说明。 - 原始内容:采取动作可以得到奖励 ,然后看到下一个画面 .接下来一直玩下去,有很多不同的可能,每个可能都会得到一个奖励,把这些奖励平均以后的结果就是 . 需要玩很多次游戏,才能得到这个平均值.但我们可以训练出一个好的 Critic,在 这个画面下,得到累积奖励的期望值.在 这边采取动作 会得到奖励 ,再跳到 ,在这边会得到期望的奖励 .所以 代表在 这边采取动作会得到的奖励的期望值.把 换成 ,如图14.28 所示.如果 ,则代表动作 比从一个分布中随便采样到的动作好;反之,则代表动作 比从一个分布中随机采样到的动作差.在优势 Actor-Critic中, 就是 +.