知识卡片
玻尔兹曼机的能量与潜变量
玻尔兹曼机用一个能量函数给二值变量的每个联合状态打分,再经配分函数归一化为概率分布,因此属于基于能量的模型。若只有可见单元,单元间的相互作用等价于逻辑回归那样的线性关系,表达能力有限。引入潜变量后,隐藏单元像多层感知机的隐层一样在可见单元之间制造高阶交互,使模型从线性关系的建模者变成离散变量上任意概率质量函数的万能近似器。代价是配分函数与推断都难以精确计算,必须诉诸近似技术。这一有潜变量与无潜变量的分野,奠定了后续RBM、DBN、DBM等所有变体的基础。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 深度生成模型 · 查看原书依据
当不是所有变量都能被观察到时,玻尔兹曼机变得更强大。在这种情况下,潜变量类似于多层感知机中的隐藏单元,并模拟可见单元之间的高阶交互。
参考来源
- 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html)
- 结论依据:原文对比了有无潜变量两种情形,指出只有加入隐藏单元才能突破线性相互作用的限制,并给出万能近似能力的结论。
- 原始内容:当不是所有变量都能被观察到时,玻尔兹曼机变得更强大。在这种情况下,潜变量类似于多层感知机中的隐藏单元,并模拟可见单元之间的高阶交互。