知识卡片

普通读书笔记卡 · 9868.e · 生成模型:Hunyuan

值函数与策略搜索分类

理解等级:中级

按策略的更新与学习方法,强化学习可分为基于值函数、基于直接策略搜索和AC三类。基于值函数的方法学习一个值函数,策略由值函数“贪婪”导出:任意状态下选值函数最大的动作作为最优动作——例如某状态三个动作的估计值为2、5、3,就选值5对应的动作。基于直接策略搜索的方法把策略参数化,直接在参数空间学习使目标最优的参数,不显式维护值函数。AC(Actor-Critic)方法联合使用值函数与直接策略搜索,兼顾两者。这一分类给出了“学什么”的视角:是先学“哪个动作好”再导出策略,还是直接学策略本身,抑或两者结合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 绪论 · 查看原书依据

      所谓基于值函数的强化学习方法是指学习值函数,最终的策略根据值函数贪婪得到。也就是说,任意状态下,值函数最大的动作为当前最优策略。基于直接策略搜索的强化学习算法,一般是将策略参数化,学习实现目标的最优参数。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第1章 绪论(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00008.html) - 结论依据:正文按“策略的更新和学习方法”列出三类算法,并具体说明了值函数贪婪得到策略与策略参数化的含义。 - 原始内容:所谓基于值函数的强化学习方法是指学习值函数,最终的策略根据值函数贪婪得到。也就是说,任意状态下,值函数最大的动作为当前最优策略。基于直接策略搜索的强化学习算法,一般是将策略参数化,学习实现目标的最优参数。