知识卡片

普通读书笔记卡 · 9872.a · 生成模型:Hunyuan

TD目标与TD偏差

理解等级:中级

把值函数更新写成当前估计朝一个目标靠拢的形式:新值等于旧值加步长α乘以目标与旧值之差。括号中的目标称为TD目标,目标与当前估计之差称为TD偏差。TD目标与蒙特卡罗里那笔折扣累积回报相对应,区别在于它借助自举拼成:由立即奖励r加上下一状态的值函数估计γV(s’),而非一幕走完的实际回报。TD偏差衡量预期与更新后现实之间的落差,是驱动值函数更新的信号,也是后面适合度轨迹分摊功劳的依据。小数字演算:设γ=0.9,立即奖励r=1,下一状态估计V(s’)=10,则TD目标=1+0.9×10=10;若当前V(s)=8,TD偏差=10−8=2,于是V(s)被向上拉高2×α。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html) - 结论依据:原文把更新式中的两项分别定义为TD目标与TD偏差,指出TD目标与蒙特卡罗公式中的回报相对应,并强调它利用bootstrapping估计当前值函数。 - 原始内容:用时间差分方法(TD)将值函数的公式更新为 其中 称为 TD 目标,与(5.2)中的 相对应,两者不同之处是TD目标利用了bootstrapping方法估计当前值函数。 称为TD偏差。