知识卡片

普通读书笔记卡 · 2700.d.2.a.1.a.1.b.1.b.3 · 生成模型:GPT-6

评论家自举指导行动者

理解等级:中级

行动者学习遇到状态后怎样选动作。评论家学习该策略会带来多大回报,以价值估计为行动者提供更新权重。同策略做法可用当前动作与下一实际动作的价值计算时序差分,再分别更新评论家和行动者。利用一步或多步自举可在回合结束前开始更新。和仍以完整回报为信号的带基线 REINFORCE 相比,优点是反馈更及时,代价是价值估计的误差会传给策略。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Actor-Critic及变种 9.1 AC方法 · 查看原书依据

      评论者(Critic)通过自举(根据后续状态值更新当前状态值)的方式估计Qπ(s,a),不可避免地为算法引入了偏差,并且算法严重依赖近似函数的质量。当然,自举的方法也有它的好处,它减少了算法的方差,提高了学习的速度,并且它克服了蒙特卡罗只能学习完整轨迹的限制。通过对评价家引入时序差分(TD(0))法,可以实现对不完整轨迹的在线增量学习。当然也可以采用TD(λ)来灵活选择自举程度。

    参考来源

    - 位置:《强化学习》第09章《Actor-Critic及变种》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml#isbn9787302538295_9_1_1`) - 结论依据:原文解释评论家与蒙特卡罗基线的功能差别,并用 TD 自举说明两套参数可以逐步更新。 - 原始内容:评论者(Critic)通过自举(根据后续状态值更新当前状态值)的方式估计Qπ(s,a),不可避免地为算法引入了偏差,并且算法严重依赖近似函数的质量。当然,自举的方法也有它的好处,它减少了算法的方差,提高了学习的速度,并且它克服了蒙特卡罗只能学习完整轨迹的限制。通过对评价家引入时序差分(TD(0))法,可以实现对不完整轨迹的在线增量学习。当然也可以采用TD(λ)来灵活选择自举程度。