← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9881 · 生成模型:Hunyuan

基于模型与无模型对比

理解等级:初级

两类强化学习的分野在于是否显式学习环境动力学。无模型方法直接从交互中学策略,通用性强,能用于游戏、自然语言处理这类难以建模的任务,但往往需要几十万到上千万次交互,数据效率低,且环境变化后须重新探索。基于模型方法先从数据拟合系统模型,再在模型上优化策略;模型已知时问题退化为最优控制。它用已学模型预测未知状态处的值,因此尝试次数少、泛化更强,机器人运动这类服从物理定律的系统尤其适合。代价是必须能建模,且模型误差会随预测步数累积。举例说,若模型每步把下一状态均值偏了 0.1,十步之外误差就可能被放大到不可用,这正是后续概率模型要解决的问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:概述小节用两段分别列出无模型方法通用但数据效率低、基于模型方法先学模型再优化策略且泛化强的对比,并指出机器人运动适合后者。 - 原始内容:无模型强化学习方法最大的优势是通用:一种算法可以适用于很多领域。由于无需建立模型,智能体所有的决策都是通过与环境交互得到的,所以这种方法适用于很难建模或者根本无法建模的场景,如游戏、自然语言处理等。