知识卡片
变分推断近似证据
按贝叶斯规则计算后验 P(w|x,y) 时,困难在于分母证据,它需要对 w 的所有可能取值积分,精确求解不可行。原文采用蒙特卡洛或变分推断来近似这一积分。变分推断引入近似分布 Q(w)、Q(b),通过最小化与真实后验的 Kullback-Leibler 散度使其逼近,从而绕开直接计算证据。这一近似是[[Edward实现贝叶斯网络]]中 KLqp 推断方法的核心,使贝叶斯神经网络在大规模数据上可训练。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度学习的新趋势 贝叶斯神经网络:原理与实现 · 查看原书依据
困难的部分是计算分母,这就是证据。 这需要对w的所有可能值进行积分。 幸运的是,可以使用蒙特卡洛或变分推断之类的技术对其进行近似。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第08章《深度学习的新趋势》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/15.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文指出证据需对 w 全取值积分且可用蒙特卡洛或变分推断近似,支撑变分推断是使贝叶斯网络可训练的可行性关键。
- 原始内容:困难的部分是计算分母,这就是证据。 这需要对w的所有可能值进行积分。 幸运的是,可以使用蒙特卡洛或变分推断之类的技术对其进行近似。