知识卡片
评论家自举指导行动者
行动者学习遇到状态后怎样选动作。评论家学习该策略会带来多大回报,以价值估计为行动者提供更新权重。同策略做法可用当前动作与下一实际动作的价值计算时序差分,再分别更新评论家和行动者。利用一步或多步自举可在回合结束前开始更新。和仍以完整回报为信号的带基线 REINFORCE 相比,优点是反馈更及时,代价是价值估计的误差会传给策略。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Actor-Critic及变种 9.1 AC方法 · 查看原书依据
评论者(Critic)通过自举(根据后续状态值更新当前状态值)的方式估计Qπ(s,a),不可避免地为算法引入了偏差,并且算法严重依赖近似函数的质量。当然,自举的方法也有它的好处,它减少了算法的方差,提高了学习的速度,并且它克服了蒙特卡罗只能学习完整轨迹的限制。通过对评价家引入时序差分(TD(0))法,可以实现对不完整轨迹的在线增量学习。当然也可以采用TD(λ)来灵活选择自举程度。
参考来源
- 位置:《强化学习》第09章《Actor-Critic及变种》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml#isbn9787302538295_9_1_1`)
- 结论依据:原文解释评论家与蒙特卡罗基线的功能差别,并用 TD 自举说明两套参数可以逐步更新。
- 原始内容:评论者(Critic)通过自举(根据后续状态值更新当前状态值)的方式估计Qπ(s,a),不可避免地为算法引入了偏差,并且算法严重依赖近似函数的质量。当然,自举的方法也有它的好处,它减少了算法的方差,提高了学习的速度,并且它克服了蒙特卡罗只能学习完整轨迹的限制。通过对评价家引入时序差分(TD(0))法,可以实现对不完整轨迹的在线增量学习。当然也可以采用TD(λ)来灵活选择自举程度。