知识卡片
策略搜索两条路线
无模型的策略搜索按策略形态分为随机策略搜索和确定性策略搜索两条路线。2014 年以前,学界普遍认为确定性策略梯度不存在,研究几乎都集中在随机策略搜索上,发展出策略梯度等方法。转折点出现在 2014 年:Silver 在论文《Deterministic Policy Gradient Algorithms》中提出确定性策略理论,证明确定性策略梯度存在,确定性搜索才成为独立分支。2015 年 DeepMind 又在《Continuous Control with Deep Reinforcement Learning》中把该理论与 DQN 的深度网络经验结合,提出 DDPG。这条时间线有助于定位本章:它承接第 7 章的随机策略梯度,回应随机策略采样效率低的局限,为连续动作控制提供更高效的方案。边界在于这里的两条路线都属无模型方法,基于模型的搜索是另一分支。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 基于确定性策略搜索的强化学习方法 · 查看原书依据
无模型的策略搜索方法可以分为随机策略搜索方法和确定性策略搜索方法。其中随机策略搜索方法又发展出了很多算法。可以说,2014年以前,学者们都在发展随机策略搜索的方法,因为大家都认为确定性策略梯度是不存在的。
参考来源
- 位置:《深入浅出强化学习:原理入门》第9章 基于确定性策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00019.html)
- 结论依据:原文从图 9.1 的策略搜索分类讲起,说明无模型方法分随机与确定性两类,并按年份交代 Silver 提出确定性策略理论、DeepMind 提出 DDPG 的沿革。
- 原始内容:无模型的策略搜索方法可以分为随机策略搜索方法和确定性策略搜索方法。其中随机策略搜索方法又发展出了很多算法。可以说,2014年以前,学者们都在发展随机策略搜索的方法,因为大家都认为确定性策略梯度是不存在的。