← 返回卡片

原书出处

强化学习

05 时序差分 5.2 三种方法的性质对比

第1版 · 核验版本的摘录快照 · 导入于 2026-11-20T14:51:48.894Z

时序差分(TD)和动态规划(DP)则利用一步预测方法计算当前状态值函数,其共同点是利用了自举,使用后继值函数逼近当前值函数。不同的是,动态规划方法无须采样,直接根据完整模型,通过当前状态S所有可能的转移状态S'、转移概率、立即回报来计算当前状态S的值函数,如图5-2所示。而时序差分(TD)方法是无模型方法,无法获得当前状态的所有后继状态及回报等,仅能通过采样学习轨迹片段,用下一状态的预估状态价值更新当前状态预估价值,如图5-3所示。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/强化学习/_epub-src/OEBPS/Text/1-014.xhtml

EPUB SHA-256:09d029c3e00ed3f65d67041527ebdeec43f6860c9e329632f76265063e65d5ae