← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9872 · 生成模型:Hunyuan

TD方法与自举

理解等级:中级

时间差分(TD)是一种无模型强化学习方法,它的革新集中在值函数的估计方式上。它同时借鉴蒙特卡罗的做试验采样和动态规划的自举:自举指用一个状态的后继状态的值函数来估计它自己的值函数,而不必等到一幕结束拿到完整回报。这样在试验尚未终止时就能更新当前状态的值函数,学习速度比蒙特卡罗快。TD既保留了采样、不依赖环境模型的优点,又具备动态规划那种步步更新的效率,因此被称为强化学习理论中最核心的内容。需要注意自举在动态规划里后继状态由模型算得,在TD里后继状态靠采样得到,这一差别正是三法分野的关键。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html) - 结论依据:原文明确指出TD结合蒙特卡罗的采样与动态规划的bootstrapping,并说明自举是用后继状态的值函数估计当前值函数,且TD方法的主要不同就在值函数估计。 - 原始内容:时间差分方法结合了蒙特卡罗的采样方法(即做试验)和动态规划方法的bootstrapping(利用后继状态的值函数估计当前值函数),它的计算过程如图5.4所示。