知识卡片
TD目标与TD偏差
把值函数更新写成当前估计朝一个目标靠拢的形式:新值等于旧值加步长α乘以目标与旧值之差。括号中的目标称为TD目标,目标与当前估计之差称为TD偏差。TD目标与蒙特卡罗里那笔折扣累积回报相对应,区别在于它借助自举拼成:由立即奖励r加上下一状态的值函数估计γV(s’),而非一幕走完的实际回报。TD偏差衡量预期与更新后现实之间的落差,是驱动值函数更新的信号,也是后面适合度轨迹分摊功劳的依据。小数字演算:设γ=0.9,立即奖励r=1,下一状态估计V(s’)=10,则TD目标=1+0.9×10=10;若当前V(s)=8,TD偏差=10−8=2,于是V(s)被向上拉高2×α。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 基于时间差分的强化学习方法 · 查看原书依据
用时间差分方法(TD)将值函数的公式更新为 其中 称为 TD 目标,与(5.2)中的 相对应,两者不同之处是TD目标利用了bootstrapping方法估计当前值函数。 称为TD偏差。
参考来源
- 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html)
- 结论依据:原文把更新式中的两项分别定义为TD目标与TD偏差,指出TD目标与蒙特卡罗公式中的回报相对应,并强调它利用bootstrapping估计当前值函数。
- 原始内容:用时间差分方法(TD)将值函数的公式更新为 其中 称为 TD 目标,与(5.2)中的 相对应,两者不同之处是TD目标利用了bootstrapping方法估计当前值函数。 称为TD偏差。