原书出处
强化学习
09 Actor-Critic及变种 9.1 AC方法
评论者(Critic)通过自举(根据后续状态值更新当前状态值)的方式估计Qπ(s,a),不可避免地为算法引入了偏差,并且算法严重依赖近似函数的质量。当然,自举的方法也有它的好处,它减少了算法的方差,提高了学习的速度,并且它克服了蒙特卡罗只能学习完整轨迹的限制。通过对评价家引入时序差分(TD(0))法,可以实现对不完整轨迹的在线增量学习。当然也可以采用TD(λ)来灵活选择自举程度。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml
EPUB SHA-256:09d029c3e00ed3f65d67041527ebdeec43f6860c9e329632f76265063e65d5ae