原书出处
强化学习
09 Actor-Critic及变种 9.1.2 离线策略AC方法
离线策略行动者-评论家(Off Policy Actor-Critic,OffPAC)算法使用行为策略β(a|s)来产生采样轨迹,评价家(Critic)通过对这些数据进行学习,采用时序差分法,用近似值函数Qw(s,a)逼近真实值函数Qπ(s,a)。行动者(Actor)也是通过这些数据来对策略参数进行更新的,它采用的是随机梯度上升法。在算法中,针对采样数据的来源(来自于β(a|s)而不是πθ(a|s)),行动者和评论家都使用了重要采样比例来进行调整(假设Qw(s,a)为一个线性近似函数,参数为w)。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml
EPUB SHA-256:09d029c3e00ed3f65d67041527ebdeec43f6860c9e329632f76265063e65d5ae