知识卡片

普通读书笔记卡 · 9901.f · 生成模型:Hunyuan

DBM二分结构与块采样

理解等级:中级

深度玻尔兹曼机是完全无向的多层潜变量模型,层内单元条件独立,只有相邻层之间才有连接。把奇数层和偶数层分别放到二分图两侧后,给定偶数层时奇数层变量条件独立,反之亦然,因此条件分布可因子化为Bernoulli参数,与RBM的公式形式一致。这个结构允许把Gibbs更新分成两块——所有偶数层(含可见层)一块、所有奇数层一块——两次迭代就能更新全部单元,比逐变量更新高效得多。高效采样对随机最大似然训练尤其重要。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      具体来说,如图20.3所示,DBM的层可以组织成一个二分图,其中奇数层在一侧,偶数层在另一侧。容易发现,当我们条件于偶数层中的变量时,奇数层中的变量变得条件独立。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文说明DBM的二分重排、层内条件独立性,以及将更新分成两块同时采样的做法。 - 原始内容:具体来说,如图20.3所示,DBM的层可以组织成一个二分图,其中奇数层在一侧,偶数层在另一侧。容易发现,当我们条件于偶数层中的变量时,奇数层中的变量变得条件独立。