知识卡片
半梯度TD与批学习
增量式更新最常用随机梯度下降,但小步长α并非为最快消除误差,而是为平衡各状态误差——一步完全纠正会破坏这种平衡。TD(0)中参数同时出现在估计值与目标值(自举)里,若忽略目标中的参数梯度,得到的只是半梯度法(如半梯度TD(0)、半梯度Sarsa),不再是真正的最速下降。当数据随机性大、样本利用效率低时,可改用批学习:在给定经验集上最小化最小二乘目标,得到最小二乘MC/TD/TD(λ),计算更复杂但样本效率更高。这里的权衡是以计算换稳定与效率。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
我们注意到此时要更新的参数 不仅出现在要估计的值函数 中,还出现在目标值函数 中。若只考虑参数 对估计值函数 的影响而忽略对目标值函数 的影响,这种方法就不是完全的梯度法(只有部分梯度),因此也称为基于半梯度的TD(0)值函数评估算法,如图6.4所示。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文用专门段落解释小步长的原因、半梯度法的由来,并把增量式与批学习在随机性和计算效率上作了对比。
- 原始内容:我们注意到此时要更新的参数 不仅出现在要估计的值函数 中,还出现在目标值函数 中。若只考虑参数 对估计值函数 的影响而忽略对目标值函数 的影响,这种方法就不是完全的梯度法(只有部分梯度),因此也称为基于半梯度的TD(0)值函数评估算法,如图6.4所示。