← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9877.b · 生成模型:Hunyuan

GPS发展脉络与Levine工作

理解等级:初级

引导策略搜索由Sergey Levine于2013年在斯坦福读博期间提出;他博士毕业后跟随Pieter Abbeel在伯克利做博士后并留校任教,早年研究并非机器人,而是用模仿学习做计算机仿真中人物的逼真运动。理解GPS演进可从三条线索入手。问题构建上,经历重要性采样GPS(ISGPS)→变分推理GPS(vGPS)→约束GPS(cGPS);优化方法上,从Dual GPS(对偶梯度下降,2014)到BADMM(2015)再到Mirror Descent GPS;控制相上,从轨迹最优类方法(DDP、LQR、LQG)发展到随机最优控制PI2 GPS。三条线分别回答目标怎么建模、约束怎么求解、好数据怎么产生,共同构成GPS家族。本章公式推导选定2014年ICML论文Learning complex neural network policies with trajectory optimization为蓝本,因为它涵盖GPS系列最常用的数学技巧,学会它就能读懂其他论文。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html) - 结论依据:原文按问题的构建、优化方法、控制相三个方面梳理GPS发展,并明确ISGPS→vGPS→cGPS是Levine读博期间的发展思路,还说明了选2014年ICML论文作为推导依据的原因。 - 原始内容:从问题的构建来看,GPS 经历了基于重要性采样的 GPS(ISGPS)→基于变分推理的GPS(vGPS)→基于约束的GPS(cGPS)的过程。这是Levine读博期间的发展思路。