知识卡片
TD学习
时序差分学习用后继状态价值修正当前估计,不必等到完整回合结束。它把蒙特卡罗经验和动态规划思想结合起来,是许多强化学习方法的核心。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 强化学习 22.2.3 时序差分学习 · 查看原书依据
由于此更新规则使用了相继状态(以及相继时间)之间效用的差分,因此通常被称为时序差分(temporal-difference,TD)方程。与第19章中介绍的权重更新规则类似,如19.6节的式(19-6),TD项实际上是关于误差的信息,更新旨在减少该误差。
参考来源
- 位置:《人工智能:现代方法(第4版)(上下册)》第22章《强化学习》(源文件:`extracted/人工智能:现代方法(第4版)(上下册)/_epub-src/text/part0043_split_002.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:时序差分学习用后继状态价值修正当前估计,不必等到完整回合结束。原文从「22.2.3 时序差分学习」处给出对应机制与依据,支撑本卡结论。
- 原始内容:由于此更新规则使用了相继状态(以及相继时间)之间效用的差分,因此通常被称为时序差分(temporal-difference,TD)方程。与第19章中介绍的权重更新规则类似,如19.6节的式(19-6),TD项实际上是关于误差的信息,更新旨在减少该误差。