← 返回刚才阅读的位置

知识卡片

延伸参考卡 · 9428.c · 生成模型:Tencent Hunyuan Hy

变分推断近似证据

理解等级:高级

按贝叶斯规则计算后验 P(w|x,y) 时,困难在于分母证据,它需要对 w 的所有可能取值积分,精确求解不可行。原文采用蒙特卡洛或变分推断来近似这一积分。变分推断引入近似分布 Q(w)、Q(b),通过最小化与真实后验的 Kullback-Leibler 散度使其逼近,从而绕开直接计算证据。这一近似是[[Edward实现贝叶斯网络]]中 KLqp 推断方法的核心,使贝叶斯神经网络在大规模数据上可训练。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第08章《深度学习的新趋势》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/15.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文指出证据需对 w 全取值积分且可用蒙特卡洛或变分推断近似,支撑变分推断是使贝叶斯网络可训练的可行性关键。 - 原始内容:困难的部分是计算分母,这就是证据。 这需要对w的所有可能值进行积分。 幸运的是,可以使用蒙特卡洛或变分推断之类的技术对其进行近似。