原书出处
深度学习详解
14 强化学习 14.3.6 优势 Actor-Critic
采取动作可以得到奖励 ,然后看到下一个画面 .接下来一直玩下去,有很多不同的可能,每个可能都会得到一个奖励,把这些奖励平均以后的结果就是 . 需要玩很多次游戏,才能得到这个平均值.但我们可以训练出一个好的 Critic,在 这个画面下,得到累积奖励的期望值.在 这边采取动作 会得到奖励 ,再跳到 ,在这边会得到期望的奖励 .所以 代表在 这边采取动作会得到的奖励的期望值.把 换成 ,如图14.28 所示.如果 ,则代表动作 比从一个分布中随便采样到的动作好;反之,则代表动作 比从一个分布中随机采样到的动作差.在优势 Actor-Critic中, 就是 +.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter14.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc