知识卡片

操作参考卡 · 9869.j · 生成模型:Hunyuan

基于gym的MDP实例

理解等级:中级

把机器人找金币的网格世界建成 MDP 并接入 gym 是一套可迁移流程。第一,建模:网格共 8 个状态,6、8 为死亡区,7 为金币区;状态与动作空间按网格定义,状态转移由机器人运动方程给出,回报为找到金币 +1、进入死亡区 -1、其余状态间转移 0,进入终态即结束本轮。第二,写环境类 GridEnv:在初始化中设定状态/动作空间、回报与转移参数。第三,实现 step(a):输入动作,按固定顺序输出下一状态、回报、是否终止、调试信息,顺序不能错,调试信息可为空但必须用 {} 占位否则报错。第四,实现 render():调用 rendering 画 600×400 窗口,先画 11 条直线构成网格,再画死亡区(黑实心圆)、金币(浅色圆)、机器人(另一颜色圆),并据预存的状态中心坐标向量更新机器人位置。第五,实现 reset():随机初始化机器人状态。第六,注册环境三步:把 grid_mdp.py 拷到 gym/gym/envs/classic_control;在该目录 init.py 末尾加导入语句;在 gym/gym/envs/init.py 注册 id(如 GridWorld-v0)与入口,随后即可 gym.make 调用并用 demo 测试。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 马尔科夫决策过程 · 查看原书依据

      状态空间: ;动作空间: ;状态转移概率为机器人的运动方程,回报函数为:找到金币的回报为 1,进入死亡区域的回报为-1,机器人在状态1~5之间转换时,回报为0。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html) - 结论依据:原文完整给出找金币 MDP 的回报设定、step/render/reset 的写法要点与 gym 环境注册三步。 - 原始内容:状态空间: ;动作空间: ;状态转移概率为机器人的运动方程,回报函数为:找到金币的回报为 1,进入死亡区域的回报为-1,机器人在状态1~5之间转换时,回报为0。