← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9881.j · 生成模型:Hunyuan

深度PILCO输入不确定性

理解等级:高级

贝叶斯神经网络解决了输出是分布,但输入仍是确定值,而 PILCO 要求每步输入也是分布才能解析传递不确定性。深度 PILCO 的对策是粒子法:从输入分布多采几个粒子,分别送进贝叶斯神经网络,再把输出粒子拟合成分布继续传播。但纯粒子法会退化——粒子多样性变差、全部趋向同一点,于是引入重采样剔除退化粒子,并用矩匹配把粒子分布重新拟合为高斯,使其均值与协方差与粒子一致。这样分布既能输出也能输入地在时间步间滚动,保留了 PILCO 高数据效率的内核,又把适用面从低维倒立摆扩展到更高维系统。边界是粒子数须足够大以覆盖分布,否则矩匹配会低估方差,让规划过于自信。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:正文指出粒子法用于融入输入分布、粒子退化问题,以及重采样与矩匹配重新拟合分布的做法。 - 原始内容:单纯基于粒子的方法可能会导致粒子退化,也就是说粒子的多样性会变差,所有的粒子趋向于相同。Rowan 引入了重采样技术,并利用矩匹配的方法对粒子分布进行重新拟合。