← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9873.b · 生成模型:Hunyuan

半梯度TD与批学习

理解等级:高级

增量式更新最常用随机梯度下降,但小步长α并非为最快消除误差,而是为平衡各状态误差——一步完全纠正会破坏这种平衡。TD(0)中参数同时出现在估计值与目标值(自举)里,若忽略目标中的参数梯度,得到的只是半梯度法(如半梯度TD(0)、半梯度Sarsa),不再是真正的最速下降。当数据随机性大、样本利用效率低时,可改用批学习:在给定经验集上最小化最小二乘目标,得到最小二乘MC/TD/TD(λ),计算更复杂但样本效率更高。这里的权衡是以计算换稳定与效率。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 基于值函数逼近的强化学习方法 · 查看原书依据

      我们注意到此时要更新的参数 不仅出现在要估计的值函数 中,还出现在目标值函数 中。若只考虑参数 对估计值函数 的影响而忽略对目标值函数 的影响,这种方法就不是完全的梯度法(只有部分梯度),因此也称为基于半梯度的TD(0)值函数评估算法,如图6.4所示。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html) - 结论依据:正文用专门段落解释小步长的原因、半梯度法的由来,并把增量式与批学习在随机性和计算效率上作了对比。 - 原始内容:我们注意到此时要更新的参数 不仅出现在要估计的值函数 中,还出现在目标值函数 中。若只考虑参数 对估计值函数 的影响而忽略对目标值函数 的影响,这种方法就不是完全的梯度法(只有部分梯度),因此也称为基于半梯度的TD(0)值函数评估算法,如图6.4所示。