知识卡片
Qlearning异策略算法
Qlearning是异策略的TD算法:行动策略用ε-greedy去探索环境,而更新的目标策略用贪婪策略,两者分离。它的目标取下一状态下所有动作中的最大Q值,即Q(s,a) ← Q(s,a)+α[r+γ max Q(s’,a’)−Q(s,a)],与Sarsa用实际选中的a’的Q值形成对照。这种边探索、边按最优更新的分离,让Qlearning学到不受探索噪声影响的贪婪最优策略,通常比Sarsa更激进:在悬崖步行类任务上会学到贴着边缘的最优路径,却可能因探索偶尔坠落。实现时最关键的四块是行为值函数的表示、探索环境的ε-greedy策略、更新时选动作的贪婪策略、值函数更新式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 基于时间差分的强化学习方法 · 查看原书依据
下面我们提供异策略的Qlearning算法伪代码和Python实现。 如图5.14所示为Qlearning算法的伪代码和Python实现。与Sarsa算法不同的是,Qlearning 是异策略强化学习算法,即行动策略为ε-greedy策略评估策略为贪婪策略。
参考来源
- 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html)
- 结论依据:原文说明Qlearning是异策略算法,行动策略为ε-greedy而目标策略为贪婪策略,并列出其四项关键代码实现。
- 原始内容:下面我们提供异策略的Qlearning算法伪代码和Python实现。 如图5.14所示为Qlearning算法的伪代码和Python实现。与Sarsa算法不同的是,Qlearning 是异策略强化学习算法,即行动策略为ε-greedy策略评估策略为贪婪策略。