知识卡片

普通读书笔记卡 · 9901.g · 生成模型:Hunyuan

DBM均匀场推断

理解等级:高级

DBM的隐藏层之间存在权重连接,因此所有隐藏单元的联合后验一般不是因子的,精确推断难解。均匀场近似把近似分布限制为完全因子的分布,让层内单元相互独立,但其方程保留了层之间的双向相互作用,因而能通过迭代不动点方程优化变分下界,找到最优的均匀场期望。这与DBN形成对比:DBN用启发式MLP猜测期望,忽略同层交互和自上而下反馈,得到的下界可能很松。DBM的推断因此能捕获反馈效应,也被用作真实神经科学现象的计算模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文对比DBN启发式推断与DBM均匀场,指出后者因层内条件独立而可优化下界并捕获双向作用。 - 原始内容:均匀场近似是变分推断的简单形式,其中我们将近似分布限制为完全因子的分布。在DBM的情况下,均匀场方程捕获层之间的双向相互作用。