知识卡片

普通读书笔记卡 · 9869.k.2.b.2.a.1.a · 生成模型:GPT-6

半梯度只改当前预测

理解等级:高级

用蒙特卡罗回报拟合价值时,样本目标已由奖励决定。用一步 TD 时,同一参数向量同时参与当前预测和后继预测。半梯度先把后继预测视为常量,只对当前值求导。线性时更新等于步长乘 TD 误差再乘当前特征。多步版本可以换成 λ 回报;后向版本让特征梯度像表格里的访问指示一样进入资格迹。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 值函数逼近 7.2.1 增量法 · 查看原书依据

      此时,我们注意到要更新的参数θ,不仅出现在要估计的当前状态的值函数中,还出现在目标值函数中。在对θ求导时,只考虑参数θ对估计值函数的影响而忽略对目标值函数的影响,即仅保留对θ的导数,而忽略对θ的导数,这种方法并非完全的梯度法,只有部分梯度,称为半梯度法。

    参考来源

    - 位置:《强化学习》第07章《值函数逼近》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-016.xhtml#isbn9787302538295_7_1_2_1`) - 结论依据:原文明确放弃目标一侧的梯度,并把表格迹的访问指示推广到近似函数的梯度。 - 原始内容:此时,我们注意到要更新的参数θ,不仅出现在要估计的当前状态的值函数中,还出现在目标值函数中。在对θ求导时,只考虑参数θ对估计值函数的影响而忽略对目标值函数的影响,即仅保留对θ的导数,而忽略对θ的导数,这种方法并非完全的梯度法,只有部分梯度,称为半梯度法。