知识卡片
基于模型与无模型
按是否依赖模型,强化学习分为基于模型与无模型两类。两者都靠与环境交互获得数据,区别在于如何利用数据:基于模型的方法先用数据学习系统或环境模型,再基于模型做序贯决策;无模型的方法直接用交互数据改善自身行为。权衡在于:基于模型的方法能利用模型信息辅助探索,通常效率更高;但当任务根本无法建模时只能采用无模型方法。无模型方法因无需建模而通用性更强,这也是它成为主流研究路线的缘由。选择时若环境动力学已知或可辨识,优先考虑基于模型以提升样本效率;若环境复杂、未知或难以辨识,无模型更稳妥。参见[[值函数与策略搜索分类]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 绪论
原书出处 · 1 处
- 第1章 绪论 · 查看原书依据
基于模型的强化学习算法利用与环境交互得到的数据学习系统或者环境模型,再基于模型进行序贯决策。无模型的强化学习算法则是直接利用与环境交互获得的数据改善自身的行为。
参考来源
- 位置:《深入浅出强化学习:原理入门》第1章 绪论(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00008.html)
- 结论依据:正文按“是否依赖模型”给出两类算法定义,并比较了效率与通用性的优劣及各自适用条件。
- 原始内容:基于模型的强化学习算法利用与环境交互得到的数据学习系统或者环境模型,再基于模型进行序贯决策。无模型的强化学习算法则是直接利用与环境交互获得的数据改善自身的行为。