← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9877.d · 生成模型:Hunyuan

cGPS每步代价的推导

理解等级:高级

要让轨迹优化算法(DDP或LQR)为我所用,必须先把cGPS轨迹优化相的目标化成每一步的代价之和,这靠两个数学工具。第一,对目标中的第一项在轨迹均值附近做二阶泰勒展开,忽略常数后得到一个关于状态与动作的二次型代价;二次型正是LQR、DDP能够高效求解的标准形式。第二,目标第三项是两个分布之间的KL散度,这里具体是两个高斯分布的KL散度:用高斯分布公式展开时,关键一步是配方,把表达式凑成高斯二阶矩(协方差)的形式,才能算出闭式解。去掉常数项后,把泰勒展开项与KL项合并,就得到轨迹优化相的目标函数,从而读出每一步的代价函数。有了每步代价,直接套用DDP或LQR即可求出最优轨迹分布 q,控制相的数据生成由此落地。直觉上,这个过程把学一个复杂策略转成了解一串局部二次最优控制问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html) - 结论依据:原文说明将(10.4)式中的第一项进行二阶泰勒展开,强调高斯KL推导中第三个等号一定要配方才能利用高斯分布的二阶矩计算,并总结从(10.5)(10.6)(10.8)式得出轨迹优化相的目标函数与每步代价函数,再用DDP或LQR得到最优的q。 - 原始内容:最后从(10.5)(10.6)(10.8)式,我们得出轨迹优化相的目标函数 这时每步的代价函数为 然后利用轨迹最优方法,如DDP或LQR便可以得到最优的q。