← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9870.i · 生成模型:Hunyuan

最优控制与强化学习比较

理解等级:高级

当模型已知时,强化学习问题可转化成最优控制问题来解。最优控制的数值计算分间接法与直接法。间接法先用变分法、最大值原理或动态规划导出一组微分方程(本章3.1节由动态规划得到的是HJB偏微分方程),再数值求解该方程组,微分动态规划DDP就属于间接法,它的贪婪策略通过最小化值函数得到。直接法不先推导微分方程,而是直接在可行控制集中搜索最优解:一类把状态变量与控制变量参数化,把问题化为参数优化;另一类引入函数空间的内积与泛函梯度,把静态优化推广到函数空间。其中伪谱法最常用,它在正交配置点处离散连续问题、用全局插值多项式逼近状态与输入,把问题变成非线性规划再求解,常见有高斯、勒让德、拉道、切比雪夫伪谱法。取舍依据是:若问题能用精确模型描述,宜直接用最优控制并按具体问题的特点选方法;若模型未知,则走强化学习。二者的桥梁在基于模型的强化学习:智能体先用交互数据拟合一个模型,再用最优控制方法算出当前最优控制率、与环境交互并进一步优化,引导策略搜索是其典型代表,这也把本章[[基于模型的动态规划]]与[[值迭代算法]]的视角同控制理论统一起来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 基于模型的动态规划方法 · 查看原书依据

      在模型未知的强化学习算法中,这些优秀的成果可直接拿来应用。如何应用?在基于模型的强化学习算法中,智能体会先利用交互数据拟合一个模型,有了模型,我们就可以利用最优控制的计算方法计算当前最优解,产生当前的最优控制率。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html) - 结论依据:原文定义间接法与直接法、列举伪谱法的做法,并说明若问题可用精确模型描述宜用最优控制,以及在基于模型的强化学习中可先拟合模型再用最优控制方法计算当前最优解。 - 原始内容:在模型未知的强化学习算法中,这些优秀的成果可直接拿来应用。如何应用?在基于模型的强化学习算法中,智能体会先利用交互数据拟合一个模型,有了模型,我们就可以利用最优控制的计算方法计算当前最优解,产生当前的最优控制率。