← 返回刚才阅读的位置

知识卡片

结构图卡 · 9877 · 生成模型:Hunyuan

GPS的控制相与监督相

理解等级:中级

引导策略搜索(GPS)不直接搜索策略参数,而是把一个策略搜索问题拆成交替推进的两步。控制相利用系统模型或控制器——如微分动态规划DDP、线性二次规划LQR、线性二次高斯LQG、随机最优控制PI2等——生成高回报的好数据;监督相则把这些好数据当作监督学习样本,训练策略网络去拟合控制相的动作分布。两者像老师与学生:控制器是不断迭代改进的老师,策略网络是学生,学生不靠自己在环境里试错,而是向老师学习。这样把探索从高维策略空间转移到有模型的低维控制问题里,规避了随机探索找不到好解的困境。边界在于控制相依赖一个可用的近似动力学模型,模型偏差会直接影响数据质量,进而限制最终策略性能。

结构图:

flowchart LR
    A[GPS策略搜索] --> B[控制相]
    B --> C[模型与轨迹优化]
    C --> D[生成高回报好数据]
    D --> E[监督相]
    E --> F[监督学习训练策略网络]
    F --> G[输出策略]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html) - 结论依据:原文明确指出GPS不会直接搜索策略,而是将策略搜索方法分为两步:控制相和监督相;并说明控制相通过轨迹最优、传统控制器或随机最优产生好数据,监督相用好数据做监督学习。图10.2还把GPS描述为向逐渐迭代优化的控制器学习。 - 原始内容:所以GPS方法将策略搜索方法分成控制相和监督相。其中控制相通过轨迹最优、传统控制器或随机最优等方法控制产生好的数据;监督相利用从控制相产生的好数据进行监督学习。