知识卡片
DBN的生成与识别双路
深度信念网由多层堆叠而成,最顶部两层之间是无向连接,联合分布构成一个 RBM;较低的各层则是有向图模型。它因此有两套用法:自下而上的识别路径(虚线,分布 Q)把输入逐层抽象成表示,用于推理与分类;自上而下的生成路径(实线,分布 P)从顶层 RBM 出发逐层采样,重构出输入 x。生成时先在顶层 RBM 内反复交替 Gibbs 采样至平衡,再自上而下按 P(h_{k-1}|h_k) 逐层采样,h⁰ 即生成的样本;联合概率写成 P(h^{L-1},h^L)∏P(h^{k-1}|h^k),学习就是拟合这个分布。
结构图:
flowchart TD
X["输入 x=h0"] --> A["隐层 h1"]
A --> B["隐层 h2"]
B --> C["顶层 RBM"]
C -- "生成 P" --> B
A -- "识别 Q" --> C
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络与深度学习 · 查看原书依据
DBN 最顶部两层间的连接是无向的,它们的联合分布形成一个 RBM;较低的其他层构成有向的图模型。DBN 可作为一个生成模型,顶层 RBM与具有P(·)分布的实线箭头构成生成路径。DBN也可提取数据的多层次的表示进行推理与识别,具有Q(·)分布的虚线箭头与顶层RBM构成识别路径。
参考来源
- 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0002.xhtml,6.2.2 深度信念网)
- 结论依据:原文区分 DBN 顶层的无向 RBM 与下层有向结构,并说明生成路径与识别路径各自的分布记号。
- 原始内容:DBN 最顶部两层间的连接是无向的,它们的联合分布形成一个 RBM;较低的其他层构成有向的图模型。DBN 可作为一个生成模型,顶层 RBM与具有P(·)分布的实线箭头构成生成路径。DBN也可提取数据的多层次的表示进行推理与识别,具有Q(·)分布的虚线箭头与顶层RBM构成识别路径。