知识卡片
受限玻尔兹曼机的本质与结构
受限玻尔兹曼机(RBM)是一种生成型随机神经网络:生成式指它对输入集上的概率分布建模,随机指神经元被激活时带有随机行为。它只有两层——可见层接收输入,隐藏层抽取特征,没有输出层;可见与隐藏单元都处于 0(关闭)或 1(激活)的二值状态。模型参数包括两层之间所有连接的权重 W、可见层偏置 a 与隐藏层偏置 b。因为没有输出层,RBM 不去最小化描述真值与输出差异的损失函数,而是给可见与隐藏单元的状态分配概率,并以重建输入为目标。这种两层结构虽浅,却是堆叠成深度信念网络的基本单元,参见 [[深度信念网络的堆叠与逐层训练]]。
结构图:
flowchart LR
subgraph visible[可见层]
v1((v1))
v2((v2))
v3((v3))
v4((v4))
end
subgraph hidden[隐藏层]
h1((h1))
h2((h2))
h3((h3))
h4((h4))
end
v1 -->|W| h1
v1 --> h2
v2 --> h1
v2 --> h3
v3 --> h2
v3 --> h4
v4 --> h3
v4 --> h4
a[可见偏置 a] -.-> v1
b[隐藏偏置 b] -.-> h1
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 受限玻尔兹曼机和自编码器 RBM 的本质、能量与演进 · 查看原书依据
RBM 是一种生成型随机神经网络。 通过说生成式,它表明网络对输入集上的概率分布进行建模。 随机意味着神经元在被激活时具有随机行为。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文开篇即把 RBM 定义为生成型随机神经网络,并说明其可见层、隐藏层、二值状态与权重偏置构成,还指出无输出层使其学习不同于前馈网络,支撑上述本质与结构表述。
- 原始内容:RBM 是一种生成型随机神经网络。 通过说生成式,它表明网络对输入集上的概率分布进行建模。 随机意味着神经元在被激活时具有随机行为。