知识卡片
Q学习用最大后继动作值
行为策略先选实际动作,环境回报一步转移。Q-learning 更新这一步的动作值时,对后继状态的候选动作估计取最大,即用 r+γ maxₐ′Q(s′,a′)。真正采样的下一动作可以由带探索的行为策略另行选择。目标策略因而可以是贪心的。表格算法的收敛还要求相关状态动作得到充分访问、步长合适等条件。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 时序差分
原书出处 · 1 处
- 时序差分 5.4 Q-learning:离线策略TD方法 · 查看原书依据
应用这种思想表现最好的方法是Q-学习(Q-learning)方法。Q-learning方法由Watkins和Dayan于1992年提出。它的要点在于,更新一个状态行为对的Q值时,采用的不是当前遵循策略(行为策略μ)的下一个状态行为对的Q值,而是待评估策略(目标策略π)产生的下一个状态行为对的Q值。
参考来源
- 位置:《强化学习》第05章《时序差分》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-014.xhtml#isbn9787302538295_5_1_4`)
- 结论依据:原文对比实际行为与目标动作,把目标策略的动作选择代入 TD 更新得出最大值形式。
- 原始内容:应用这种思想表现最好的方法是Q-学习(Q-learning)方法。Q-learning方法由Watkins和Dayan于1992年提出。它的要点在于,更新一个状态行为对的Q值时,采用的不是当前遵循策略(行为策略μ)的下一个状态行为对的Q值,而是待评估策略(目标策略π)产生的下一个状态行为对的Q值。