← 返回卡片

原书出处

强化学习

06 资格迹 6.4 后向算法

第1版 · 核验版本的摘录快照 · 导入于 2026-11-20T14:51:48.894Z

图6-7为后向算法示意图,每次当前状态获得一个误差量δt时,这个误差量都会根据之前各状态的资格迹来分配误差,进行值函数更新。此时之前各状态值函数更新的大小应该与距离当前访问状态的时间步相关。假设当前状态为st,TD偏差为δt,那么st-1处的值函数更新资格乘以λγ,状态st-2处的值函数更新乘以(λγ)2,以此类推。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml

EPUB SHA-256:09d029c3e00ed3f65d67041527ebdeec43f6860c9e329632f76265063e65d5ae