知识卡片

结构图卡 · 9881.b · 生成模型:Hunyuan

PILCO三层架构

理解等级:中级

PILCO 把控制问题拆成自底向上、再回灌更新的三层闭环。底层用高斯过程从数据学习状态转移的概率模型,输出的是状态差值的分布而非点值。中间层拿这个概率模型与当前策略做长期预测,递推算出未来每一步的状态分布,再乘以回报函数得到策略评估(值函数)。顶层用基于梯度的搜索更新策略参数,把值函数对参数的梯度沿时间步反传,再用共轭梯度或随机梯度下降求更新步。三层周而复始:策略变好带来新数据,新数据让模型更准,模型更准让规划更可靠。图中层间流动的是‘分布’而不是‘标量’,这是它与普通模型预测控制最大的不同。

结构图:

flowchart TD
    A[训练数据] --> B[底层 学习状态转移概率模型]
    B --> C[高斯过程回归 输出差分分布]
    C --> D[中间层 长期预测与策略评估]
    D --> E[递推计算每步状态分布]
    E --> F[累加各步回报得值函数]
    F --> G[顶层 基于梯度的策略更新]
    G --> H[共轭梯度或SGD更新策略参数]
    H --> B
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:PILCO 推导小节明确把算法分为底、中、顶三层,并逐层给出状态转移学习、策略评估与策略更新。 - 原始内容:从图中可以看出,该算法可以分为以下三层。 底层:学习一个状态转移的概率模型; 中间层:利用状态转移的概率模型和策略 ,预测在策略 下,后续的状态分布 ,利用 对策略进行评估; 顶层:在顶层利用基于梯度的方法对策略 的参数进行更新。