知识卡片
值函数与策略搜索分类
按策略的更新与学习方法,强化学习可分为基于值函数、基于直接策略搜索和AC三类。基于值函数的方法学习一个值函数,策略由值函数“贪婪”导出:任意状态下选值函数最大的动作作为最优动作——例如某状态三个动作的估计值为2、5、3,就选值5对应的动作。基于直接策略搜索的方法把策略参数化,直接在参数空间学习使目标最优的参数,不显式维护值函数。AC(Actor-Critic)方法联合使用值函数与直接策略搜索,兼顾两者。这一分类给出了“学什么”的视角:是先学“哪个动作好”再导出策略,还是直接学策略本身,抑或两者结合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 绪论
原书出处 · 1 处
- 第1章 绪论 · 查看原书依据
所谓基于值函数的强化学习方法是指学习值函数,最终的策略根据值函数贪婪得到。也就是说,任意状态下,值函数最大的动作为当前最优策略。基于直接策略搜索的强化学习算法,一般是将策略参数化,学习实现目标的最优参数。
参考来源
- 位置:《深入浅出强化学习:原理入门》第1章 绪论(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00008.html)
- 结论依据:正文按“策略的更新和学习方法”列出三类算法,并具体说明了值函数贪婪得到策略与策略参数化的含义。
- 原始内容:所谓基于值函数的强化学习方法是指学习值函数,最终的策略根据值函数贪婪得到。也就是说,任意状态下,值函数最大的动作为当前最优策略。基于直接策略搜索的强化学习算法,一般是将策略参数化,学习实现目标的最优参数。