知识卡片
Qlearning的两大要点
DQN的框架仍是Qlearning,理解它要抓住两点:一是异策略——产生数据的行动策略(ε-greedy)与要评估改进的目标策略(贪婪)不是同一个;二是时间差分——用TD目标更新当前行为值函数,更新式中含max操作。Qlearning用同一套参数既选动作又评估动作,这一max操作正是后来过估计的根源。掌握这两点是理解DQN一切改动的起点,也是判断各变种改了什么的参照系。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
异策略,是指行动策略(产生数据的策略)和要评估的策略不是一个策略。在图6.6 的Qlearning 伪代码中,行动策略(产生数据的策略)是第5行的ε-greedy策略,而要评估和改进的策略是第6行的贪婪策略(每个状态取值函数最大的那个动作)。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文强调掌握Qlearning必须明白异策略和时间差分两个概念,并说明二者在伪代码中的具体体现。
- 原始内容:异策略,是指行动策略(产生数据的策略)和要评估的策略不是一个策略。在图6.6 的Qlearning 伪代码中,行动策略(产生数据的策略)是第5行的ε-greedy策略,而要评估和改进的策略是第6行的贪婪策略(每个状态取值函数最大的那个动作)。