知识卡片

普通读书笔记卡 · 9869.k.2.b.3.d.1.a · 生成模型:GPT-6

资格迹给历史分配误差

理解等级:中级

每回合先把资格迹清零。每一步将旧迹乘 γλ,并给当前状态的迹加一。当前 TD 误差 δ 可以同时影响若干已访问状态,各自使用步长 α 乘 δ 再乘该状态的迹。较近访问衰减少,反复访问会累积权重。替代迹在再次访问时直接置一,避免一次循环反复占用信用。更新量表示算法怎样分配学习信号,可用于预测和控制,无法证明事件之间的因果关系。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 资格迹 6.4 后向算法 · 查看原书依据

      图6-7为后向算法示意图,每次当前状态获得一个误差量δt时,这个误差量都会根据之前各状态的资格迹来分配误差,进行值函数更新。此时之前各状态值函数更新的大小应该与距离当前访问状态的时间步相关。假设当前状态为st,TD偏差为δt,那么st-1处的值函数更新资格乘以λγ,状态st-2处的值函数更新乘以(λγ)2,以此类推。

    参考来源

    - 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_4`) - 结论依据:原文给出累计迹、误差分摊和替代迹,并比较重复访问时的轨迹。 - 原始内容:图6-7为后向算法示意图,每次当前状态获得一个误差量δt时,这个误差量都会根据之前各状态的资格迹来分配误差,进行值函数更新。此时之前各状态值函数更新的大小应该与距离当前访问状态的时间步相关。假设当前状态为st,TD偏差为δt,那么st-1处的值函数更新资格乘以λγ,状态st-2处的值函数更新乘以(λγ)2,以此类推。