知识卡片

操作参考卡 · 9872.f · 生成模型:Hunyuan

Python与gym编程实例

理解等级:中级

用TD做策略评估时,先从与环境交互中采样数据(实现时可假设数据已获得),核心循环处理的是一幕时间序列,在最里层用TD更新方程逐步刷新值函数,不必像蒙特卡罗那样等整幕回报。实现Sarsa与Qlearning时,二者都基于TD更新,差别只在目标策略:Sarsa的评估也用ε-greedy,Qlearning的评估用贪婪策略。Qlearning的代码可拆成四块:一是用表格表示行为值函数,表格型任务里可当二维表、一维状态一维动作,并用字典以状态-动作对为索引;二是用ε-greedy作为探索环境的策略;三是在更新时用贪婪策略选出下一状态s’下Q值最大的动作;四是用更新式刷新Q值。以机器人找金币为例,状态空间为1到8、动作空间为n/e/s/w,可直接映射成这样一张Q表。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html) - 结论依据:原文点明TD策略评估的两个注意点(最里层循环处理一幕数据、TD更新方程),并列出Qlearning四项关键代码实现与机器人找金币的状态、动作空间设定。 - 原始内容:在 Qlearning 算法中,最关键的代码实现包括:行为值函数的表示,探索环境的策略,值函数更新时贪婪策略,值函数更新。下面我们一一介绍。