← 返回卡片

原书出处

强化学习

09 Actor-Critic及变种 9.1.2 离线策略AC方法

第1版 · 核验版本的摘录快照 · 导入于 2026-11-20T14:51:48.895Z

离线策略行动者-评论家(Off Policy Actor-Critic,OffPAC)算法使用行为策略β(a|s)来产生采样轨迹,评价家(Critic)通过对这些数据进行学习,采用时序差分法,用近似值函数Qw(s,a)逼近真实值函数Qπ(s,a)。行动者(Actor)也是通过这些数据来对策略参数进行更新的,它采用的是随机梯度上升法。在算法中,针对采样数据的来源(来自于β(a|s)而不是πθ(a|s)),行动者和评论家都使用了重要采样比例来进行调整(假设Qw(s,a)为一个线性近似函数,参数为w)。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml

EPUB SHA-256:09d029c3e00ed3f65d67041527ebdeec43f6860c9e329632f76265063e65d5ae