知识卡片

普通读书笔记卡 · 9897.i · 生成模型:Hunyuan

深度学习的图模型风格与RBM

理解等级:高级

深度学习使用图模型的方式与传统风格迥异:深度主要指潜变量到可观测变量的最短路径或计算图深度,模型未必有很多潜变量层;但几乎总采用分布式表示,潜变量数量常多于可见变量,复杂非线性通过大量潜变量的间接连接实现,且不预先赋予潜变量具体含义,交由训练自由学得。连接上倾向整组全连接、由一个矩阵描述,而非逐条设计稀疏边;这使精确推断与环状信念传播难以适用,深度学习因此几乎不用环状信念传播,转而设计便于吉布斯采样或变分推断、可用高效矩阵乘积实现的模型。其最大特征是对未知量的高容忍度:宁可训练边缘分布算不出来、目标函数只能求梯度估计的模型。RBM 是典型例子——单层潜变量、二值可见与隐藏单元、层内无连接,因条件分布可分解而支持高效块吉布斯采样,用矩阵参数化层间作用完成表示学习。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第16章 深度学习中的结构化概率模型(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文总结深度学习对未知量的高容忍度,并以 RBM 说明层式全连接、块吉布斯采样与自由学习潜变量。 - 原始内容:最后,图模型的深度学习方法的一个主要特征在于对未知量的较高容忍度。与简化模型直到它的每一个量都可以被精确计算不同的是,我们仅仅直接使用数据运行或者是训练,以增强模型的能力。