知识卡片
值函数逼近的动机
此前的动态规划、蒙特卡罗、时间差分方法都假设状态与动作空间离散且规模有限,本质是在维护一张值函数表。当状态空间庞大或连续时,这张表无法存储与遍历,必须改用函数逼近来表示值函数。逼近后仍可沿用策略迭代与值迭代框架,只是把查表更新换成更新逼近函数。它的价值在于把表格型方法推广到高维、连续场景;边界是逼近会引入误差,泛化效果依赖状态特征表示是否恰当。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
若状态空间的维数很大,或者状态空间为连续空间,此时值函数无法用一张表格来表示。这时,我们需要利用函数逼近的方法表示值函数,如图6.1所示。当值函数利用函数逼近的方法表示后,可以利用策略迭代和值迭代方法构建强化学习算法。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文指出当状态空间维数很大或为连续空间时值函数无法用表格表示,需利用函数逼近方法表示值函数,并可借此构建强化学习算法。
- 原始内容:若状态空间的维数很大,或者状态空间为连续空间,此时值函数无法用一张表格来表示。这时,我们需要利用函数逼近的方法表示值函数,如图6.1所示。当值函数利用函数逼近的方法表示后,可以利用策略迭代和值迭代方法构建强化学习算法。