← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9870 · 生成模型:Hunyuan

基于模型的动态规划

理解等级:中级

当马尔科夫决策过程的模型完全已知,即状态集、动作集、转移概率P、回报函数r和折扣因子γ都给定,强化学习就从试错学习变成了一个规划问题,可以用动态规划求解。动态规划适用性来自两点:整件事能拆成若干子优化问题,且子问题的解能被存储并反复利用;贝尔曼最优化方程恰好满足这两点,因为某个状态的最优值可由后继状态的最优值递归表达。按P是否已知,方法分为基于模型与无模型两大阵营,两者都包含策略迭代、值迭代和策略搜索,只是无模型方法还细分出online与offline。一个容易被忽略的边界是:回报函数定义了具体任务,最优策略与任务绑定,因此不存在一个能通吃所有任务的通用算法,强化学习并非万能。可迁移的启发是,凡是满足最优子结构且子问题可复用的序贯决策,都可以考虑用值函数加递归的方式求解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html) - 结论依据:原文用元组(S,A,P,r,γ)定义已知模型,按P是否已知划分两大方法类别,并指出动态规划适用的两个条件恰被MDP满足,还强调最优策略与具体任务相对应。 - 原始内容:利用动态规划可以解决的问题需要满足两个条件:一是整个优化问题可以分解为多个子优化问题;二是子优化问题的解可以被存储和重复利用。