知识卡片

普通读书笔记卡 · 2700.e.1.a.1.c.5 · 生成模型:GPT-6

Q学习的离策略更新

理解等级:中级

表格 Q 学习使用目标 r+γ max_a Q(s′,a),以步长 α 将 Q(s,a) 朝该目标更新;终止状态不再引导后续价值。max 是目标策略的贪婪选择,实际采样可采用探索行为策略,因此它是离策略方法。收敛结论依赖有限表格、充分访问、适当步长等条件,不能推广为任意设置必然收敛。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第26章《强化学习》26.6(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0034_split_006.html`) - 结论依据:即时性奖励与该单元格的值加在一起。 - 原始内容:即时性奖励与该单元格的值加在一起就会得到当前动作的未来总奖励。这是可行的,因为我们的策略保证了我们总是会选择具有最大的Q值的单元格所对应的动作。