知识卡片
GPS的控制相与监督相
引导策略搜索(GPS)不直接搜索策略参数,而是把一个策略搜索问题拆成交替推进的两步。控制相利用系统模型或控制器——如微分动态规划DDP、线性二次规划LQR、线性二次高斯LQG、随机最优控制PI2等——生成高回报的好数据;监督相则把这些好数据当作监督学习样本,训练策略网络去拟合控制相的动作分布。两者像老师与学生:控制器是不断迭代改进的老师,策略网络是学生,学生不靠自己在环境里试错,而是向老师学习。这样把探索从高维策略空间转移到有模型的低维控制问题里,规避了随机探索找不到好解的困境。边界在于控制相依赖一个可用的近似动力学模型,模型偏差会直接影响数据质量,进而限制最终策略性能。
结构图:
flowchart LR
A[GPS策略搜索] --> B[控制相]
B --> C[模型与轨迹优化]
C --> D[生成高回报好数据]
D --> E[监督相]
E --> F[监督学习训练策略网络]
F --> G[输出策略]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 基于引导策略搜索的强化学习方法 · 查看原书依据
所以GPS方法将策略搜索方法分成控制相和监督相。其中控制相通过轨迹最优、传统控制器或随机最优等方法控制产生好的数据;监督相利用从控制相产生的好数据进行监督学习。
参考来源
- 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html)
- 结论依据:原文明确指出GPS不会直接搜索策略,而是将策略搜索方法分为两步:控制相和监督相;并说明控制相通过轨迹最优、传统控制器或随机最优产生好数据,监督相用好数据做监督学习。图10.2还把GPS描述为向逐渐迭代优化的控制器学习。
- 原始内容:所以GPS方法将策略搜索方法分成控制相和监督相。其中控制相通过轨迹最优、传统控制器或随机最优等方法控制产生好的数据;监督相利用从控制相产生的好数据进行监督学习。