知识卡片

普通读书笔记卡 · 9869.k.2.b.3.c · 生成模型:GPT-6

Q学习用最大后继动作值

理解等级:中级

行为策略先选实际动作,环境回报一步转移。Q-learning 更新这一步的动作值时,对后继状态的候选动作估计取最大,即用 r+γ maxₐ′Q(s′,a′)。真正采样的下一动作可以由带探索的行为策略另行选择。目标策略因而可以是贪心的。表格算法的收敛还要求相关状态动作得到充分访问、步长合适等条件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 时序差分 5.4 Q-learning:离线策略TD方法 · 查看原书依据

      应用这种思想表现最好的方法是Q-学习(Q-learning)方法。Q-learning方法由Watkins和Dayan于1992年提出。它的要点在于,更新一个状态行为对的Q值时,采用的不是当前遵循策略(行为策略μ)的下一个状态行为对的Q值,而是待评估策略(目标策略π)产生的下一个状态行为对的Q值。

    参考来源

    - 位置:《强化学习》第05章《时序差分》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-014.xhtml#isbn9787302538295_5_1_4`) - 结论依据:原文对比实际行为与目标动作,把目标策略的动作选择代入 TD 更新得出最大值形式。 - 原始内容:应用这种思想表现最好的方法是Q-学习(Q-learning)方法。Q-learning方法由Watkins和Dayan于1992年提出。它的要点在于,更新一个状态行为对的Q值时,采用的不是当前遵循策略(行为策略μ)的下一个状态行为对的Q值,而是待评估策略(目标策略π)产生的下一个状态行为对的Q值。