← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9873.d · 生成模型:Hunyuan

Qlearning的两大要点

理解等级:中级

DQN的框架仍是Qlearning,理解它要抓住两点:一是异策略——产生数据的行动策略(ε-greedy)与要评估改进的目标策略(贪婪)不是同一个;二是时间差分——用TD目标更新当前行为值函数,更新式中含max操作。Qlearning用同一套参数既选动作又评估动作,这一max操作正是后来过估计的根源。掌握这两点是理解DQN一切改动的起点,也是判断各变种改了什么的参照系。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 基于值函数逼近的强化学习方法 · 查看原书依据

      异策略,是指行动策略(产生数据的策略)和要评估的策略不是一个策略。在图6.6 的Qlearning 伪代码中,行动策略(产生数据的策略)是第5行的ε-greedy策略,而要评估和改进的策略是第6行的贪婪策略(每个状态取值函数最大的那个动作)。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html) - 结论依据:正文强调掌握Qlearning必须明白异策略和时间差分两个概念,并说明二者在伪代码中的具体体现。 - 原始内容:异策略,是指行动策略(产生数据的策略)和要评估的策略不是一个策略。在图6.6 的Qlearning 伪代码中,行动策略(产生数据的策略)是第5行的ε-greedy策略,而要评估和改进的策略是第6行的贪婪策略(每个状态取值函数最大的那个动作)。