知识卡片
Python与gym编程实例
用TD做策略评估时,先从与环境交互中采样数据(实现时可假设数据已获得),核心循环处理的是一幕时间序列,在最里层用TD更新方程逐步刷新值函数,不必像蒙特卡罗那样等整幕回报。实现Sarsa与Qlearning时,二者都基于TD更新,差别只在目标策略:Sarsa的评估也用ε-greedy,Qlearning的评估用贪婪策略。Qlearning的代码可拆成四块:一是用表格表示行为值函数,表格型任务里可当二维表、一维状态一维动作,并用字典以状态-动作对为索引;二是用ε-greedy作为探索环境的策略;三是在更新时用贪婪策略选出下一状态s’下Q值最大的动作;四是用更新式刷新Q值。以机器人找金币为例,状态空间为1到8、动作空间为n/e/s/w,可直接映射成这样一张Q表。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 基于时间差分的强化学习方法 · 查看原书依据
在 Qlearning 算法中,最关键的代码实现包括:行为值函数的表示,探索环境的策略,值函数更新时贪婪策略,值函数更新。下面我们一一介绍。
参考来源
- 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html)
- 结论依据:原文点明TD策略评估的两个注意点(最里层循环处理一幕数据、TD更新方程),并列出Qlearning四项关键代码实现与机器人找金币的状态、动作空间设定。
- 原始内容:在 Qlearning 算法中,最关键的代码实现包括:行为值函数的表示,探索环境的策略,值函数更新时贪婪策略,值函数更新。下面我们一一介绍。