知识卡片
RBM的对比散度训练
RBM能量梯度中的配分函数项难解,但它的条件分布可闭解计算,又支持以块吉布斯采样做MCMC,所以第18章针对难解配分函数的通用技术都能直接套用,典型包括对比散度(CD)、随机最大似然(SML/持续性CD)与比率匹配。与其他深度无向模型相比,RBM训练相对直接:既能高效估计并微分梯度,又能高效从模型分布采样出负相样本。深度玻尔兹曼机则没有这种便利,因为它同时面临难解配分函数与难解推断双重障碍。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 深度生成模型 · 查看原书依据
与深度学习中使用的其他无向模型相比,RBM可以相对直接地训练,因为我们可以以闭解形式计算P (h | ν )。其他一些深度模型,如深度玻尔兹曼机,同时具备难处理的配分函数和难以推断的难题。
参考来源
- 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html)
- 结论依据:原文列举了可用于RBM的训练技术,并将其与更深无向模型的双重困难作对比。
- 原始内容:与深度学习中使用的其他无向模型相比,RBM可以相对直接地训练,因为我们可以以闭解形式计算P (h | ν )。其他一些深度模型,如深度玻尔兹曼机,同时具备难处理的配分函数和难以推断的难题。