知识卡片
GPS发展脉络与Levine工作
引导策略搜索由Sergey Levine于2013年在斯坦福读博期间提出;他博士毕业后跟随Pieter Abbeel在伯克利做博士后并留校任教,早年研究并非机器人,而是用模仿学习做计算机仿真中人物的逼真运动。理解GPS演进可从三条线索入手。问题构建上,经历重要性采样GPS(ISGPS)→变分推理GPS(vGPS)→约束GPS(cGPS);优化方法上,从Dual GPS(对偶梯度下降,2014)到BADMM(2015)再到Mirror Descent GPS;控制相上,从轨迹最优类方法(DDP、LQR、LQG)发展到随机最优控制PI2 GPS。三条线分别回答目标怎么建模、约束怎么求解、好数据怎么产生,共同构成GPS家族。本章公式推导选定2014年ICML论文Learning complex neural network policies with trajectory optimization为蓝本,因为它涵盖GPS系列最常用的数学技巧,学会它就能读懂其他论文。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 基于引导策略搜索的强化学习方法 · 查看原书依据
从问题的构建来看,GPS 经历了基于重要性采样的 GPS(ISGPS)→基于变分推理的GPS(vGPS)→基于约束的GPS(cGPS)的过程。这是Levine读博期间的发展思路。
参考来源
- 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html)
- 结论依据:原文按问题的构建、优化方法、控制相三个方面梳理GPS发展,并明确ISGPS→vGPS→cGPS是Levine读博期间的发展思路,还说明了选2014年ICML论文作为推导依据的原因。
- 原始内容:从问题的构建来看,GPS 经历了基于重要性采样的 GPS(ISGPS)→基于变分推理的GPS(vGPS)→基于约束的GPS(cGPS)的过程。这是Levine读博期间的发展思路。