知识卡片
DBM二分结构与块采样
深度玻尔兹曼机是完全无向的多层潜变量模型,层内单元条件独立,只有相邻层之间才有连接。把奇数层和偶数层分别放到二分图两侧后,给定偶数层时奇数层变量条件独立,反之亦然,因此条件分布可因子化为Bernoulli参数,与RBM的公式形式一致。这个结构允许把Gibbs更新分成两块——所有偶数层(含可见层)一块、所有奇数层一块——两次迭代就能更新全部单元,比逐变量更新高效得多。高效采样对随机最大似然训练尤其重要。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 深度生成模型 · 查看原书依据
具体来说,如图20.3所示,DBM的层可以组织成一个二分图,其中奇数层在一侧,偶数层在另一侧。容易发现,当我们条件于偶数层中的变量时,奇数层中的变量变得条件独立。
参考来源
- 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html)
- 结论依据:原文说明DBM的二分重排、层内条件独立性,以及将更新分成两块同时采样的做法。
- 原始内容:具体来说,如图20.3所示,DBM的层可以组织成一个二分图,其中奇数层在一侧,偶数层在另一侧。容易发现,当我们条件于偶数层中的变量时,奇数层中的变量变得条件独立。