知识卡片
gym策略迭代实现
要把基于模型的动态规划真正跑起来,可按如下可迁移步骤用Python与gym实现(以机器人找金币为例,MDP模型已知)。第一步写策略评估:设两层循环,外层固定1000次以保证值函数收敛到该策略对应的真实值,内层扫描整个状态空间,使每个状态的值都被估计。关键技巧是——因为模型已知,采用某动作后的下一状态可由P直接预测,无需智能体真的执行动作再去观察,这样就能预测所有动作的结果;这正是基于模型方法与无模型方法的本质区别,后者只能靠采样估计当前行为的好坏。第二步写策略改善:外层遍历状态,内层遍历该状态的动作空间,用动作值函数挑出贪婪动作作为更新后的策略,本质是落实π′(s)=argmax_a q(s,a)。第三步若要值迭代,改成三重循环:最外层保证值函数收敛,中间层扫描状态空间对应一次评估,最内层扫描动作空间选最优动作,评估步只迭代一次。注意1000次是工程上的收敛经验值,可按收敛判据替换;整套流程的前提是转移模型已知。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 基于模型的动态规划方法 · 查看原书依据
需要注意的一点是策略评估包括两个循环,第一个循环为 1000 次,保证值函数收敛到该策略所对应的真实值函数。第二个循环为整个状态空间的扫描,这样保证状态空间每一点的值函数都得到估计。
参考来源
- 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html)
- 结论依据:原文给出策略评估的两个循环(1000次外层保证收敛、内层扫描状态空间)、利用模型预测下一状态而无需实际试错的本质区别,以及值迭代需要三重循环的实现说明。
- 原始内容:需要注意的一点是策略评估包括两个循环,第一个循环为 1000 次,保证值函数收敛到该策略所对应的真实值函数。第二个循环为整个状态空间的扫描,这样保证状态空间每一点的值函数都得到估计。