原书出处
深入浅出强化学习:原理入门
07 第7章 基于策略梯度的强化学习方法
以进一步减小方差,此处不再介绍。 引入基线后,策略梯度公式变成 其中,b取(7.9)式。我们进一步分析公式(7.10)。
在公式(7.10)中,每个动作 所对应的 都乘以相同的该轨迹的总回报 ,如图7.5所示。 图7.5 REINFORCE方法 然而,当前的动作与过去的回报实际上是没有关系的,即 因此,我们可以修改(7.10)中的回报函数,有两种修改方法。
第一种方法称为G(PO)MDP,如图7.6所示。 图7.6 G(PO)MDP方法 第二种方法称为策略梯度理论,如图7.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57