← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9881.i · 生成模型:Hunyuan

深度PILCO输出不确定性

理解等级:高级

深度 PILCO 用贝叶斯神经网络替换高斯过程以破解维数灾难,关键要复刻高斯模型的两项能力,先是输出不确定性。普通神经网络给定输入输出一个确定数,权值由最小化损失函数训出;贝叶斯神经网络结构相同,却把权值看作随机变量,依据观测数据用贝叶斯公式反推权值的后验分布。预测新点时对所有权值积分得到输出分布,分母的配分函数在高维下无法解析,于是用参数化变分分布逼近,最小化它与真实后验的 KL 散度——这等价于最大化证据下界,即变分推理。Yarin Gal 用蒙特卡罗与子采样给出实用做法。小数值直觉:若权值后验标准差为 0.1,同一输入多次采样的输出会在均值附近散开,这个散布就是对规划有用的不确定性,而非一个点估计。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:正文说明用贝叶斯神经网络替换高斯过程,给出权值后验、配分函数、KL 散度与变分推理的推导。 - 原始内容:对于一般的神经网络,我们是如何得到权值的?通用的方法就是给一个训练集,一个损失函数,然后利用训练集和使得损失函数最小,从而得到权值。 贝叶斯神经网络并不是这样得到权值的。