知识卡片
深度PILCO输入不确定性
贝叶斯神经网络解决了输出是分布,但输入仍是确定值,而 PILCO 要求每步输入也是分布才能解析传递不确定性。深度 PILCO 的对策是粒子法:从输入分布多采几个粒子,分别送进贝叶斯神经网络,再把输出粒子拟合成分布继续传播。但纯粒子法会退化——粒子多样性变差、全部趋向同一点,于是引入重采样剔除退化粒子,并用矩匹配把粒子分布重新拟合为高斯,使其均值与协方差与粒子一致。这样分布既能输出也能输入地在时间步间滚动,保留了 PILCO 高数据效率的内核,又把适用面从低维倒立摆扩展到更高维系统。边界是粒子数须足够大以覆盖分布,否则矩匹配会低估方差,让规划过于自信。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
单纯基于粒子的方法可能会导致粒子退化,也就是说粒子的多样性会变差,所有的粒子趋向于相同。Rowan 引入了重采样技术,并利用矩匹配的方法对粒子分布进行重新拟合。
参考来源
- 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html)
- 结论依据:正文指出粒子法用于融入输入分布、粒子退化问题,以及重采样与矩匹配重新拟合分布的做法。
- 原始内容:单纯基于粒子的方法可能会导致粒子退化,也就是说粒子的多样性会变差,所有的粒子趋向于相同。Rowan 引入了重采样技术,并利用矩匹配的方法对粒子分布进行重新拟合。