知识卡片
TD方法与自举
时间差分(TD)是一种无模型强化学习方法,它的革新集中在值函数的估计方式上。它同时借鉴蒙特卡罗的做试验采样和动态规划的自举:自举指用一个状态的后继状态的值函数来估计它自己的值函数,而不必等到一幕结束拿到完整回报。这样在试验尚未终止时就能更新当前状态的值函数,学习速度比蒙特卡罗快。TD既保留了采样、不依赖环境模型的优点,又具备动态规划那种步步更新的效率,因此被称为强化学习理论中最核心的内容。需要注意自举在动态规划里后继状态由模型算得,在TD里后继状态靠采样得到,这一差别正是三法分野的关键。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 基于时间差分的强化学习方法 · 查看原书依据
时间差分方法结合了蒙特卡罗的采样方法(即做试验)和动态规划方法的bootstrapping(利用后继状态的值函数估计当前值函数),它的计算过程如图5.4所示。
参考来源
- 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html)
- 结论依据:原文明确指出TD结合蒙特卡罗的采样与动态规划的bootstrapping,并说明自举是用后继状态的值函数估计当前值函数,且TD方法的主要不同就在值函数估计。
- 原始内容:时间差分方法结合了蒙特卡罗的采样方法(即做试验)和动态规划方法的bootstrapping(利用后继状态的值函数估计当前值函数),它的计算过程如图5.4所示。