← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9881.g · 生成模型:Hunyuan

滤波PILCO与置信空间

理解等级:中级

原始 PILCO 假设状态完全可观且无测量噪声,现实中传感器带噪、状态常不可直接测得。滤波 PILCO 把滤波器嵌进执行相(第8行)与仿真相(第5行),把部分可观马尔可夫决策过程纳入框架。真实状态未知时,只能由观测得到状态的置信空间,预测与规划都改在置信空间中进行。滤波器本质是对先验预测和后验观测似然加权求和:更新步按观测似然率调整均值、方差与权重阵,预测步由动力学模型推出下一置信分布,因其非高斯再用高斯近似。仿真相没有真实世界产生观测,于是假设一个置信方程并引入分层随机变量来模拟观测。结果是算法在带噪机器人上仍保持样本效率,代价是每步多一次滤波近似。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:正文指出真实状态空间未知时只能在置信空间规划,并分别讲解滤波器更新步与预测步在执行相、仿真相的使用。 - 原始内容:与 PILCO 不同,带有噪声的系统的真实状态空间是未知的,只能通过观测值得到状态空间的置信空间。预测和规划都在置信空间中进行。