知识卡片

操作参考卡 · 9870.h · 生成模型:Hunyuan

gym策略迭代实现

理解等级:中级

要把基于模型的动态规划真正跑起来,可按如下可迁移步骤用Python与gym实现(以机器人找金币为例,MDP模型已知)。第一步写策略评估:设两层循环,外层固定1000次以保证值函数收敛到该策略对应的真实值,内层扫描整个状态空间,使每个状态的值都被估计。关键技巧是——因为模型已知,采用某动作后的下一状态可由P直接预测,无需智能体真的执行动作再去观察,这样就能预测所有动作的结果;这正是基于模型方法与无模型方法的本质区别,后者只能靠采样估计当前行为的好坏。第二步写策略改善:外层遍历状态,内层遍历该状态的动作空间,用动作值函数挑出贪婪动作作为更新后的策略,本质是落实π′(s)=argmax_a q(s,a)。第三步若要值迭代,改成三重循环:最外层保证值函数收敛,中间层扫描状态空间对应一次评估,最内层扫描动作空间选最优动作,评估步只迭代一次。注意1000次是工程上的收敛经验值,可按收敛判据替换;整套流程的前提是转移模型已知。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 基于模型的动态规划方法 · 查看原书依据

      需要注意的一点是策略评估包括两个循环,第一个循环为 1000 次,保证值函数收敛到该策略所对应的真实值函数。第二个循环为整个状态空间的扫描,这样保证状态空间每一点的值函数都得到估计。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html) - 结论依据:原文给出策略评估的两个循环(1000次外层保证收敛、内层扫描状态空间)、利用模型预测下一状态而无需实际试错的本质区别,以及值迭代需要三重循环的实现说明。 - 原始内容:需要注意的一点是策略评估包括两个循环,第一个循环为 1000 次,保证值函数收敛到该策略所对应的真实值函数。第二个循环为整个状态空间的扫描,这样保证状态空间每一点的值函数都得到估计。