知识卡片
中心化DBM与MP-DBM
经典DBM需要贪心无监督预训练再加独立MLP分类器,难在训练中监控完整模型性能,也丢失了概率模型处理缺失输入的优点。两种方案试图实现联合训练。中心化DBM引入向量μ对状态重参数化,不改变可表示的分布族,却改善了代价函数Hessian的条件数,从而无需逐层预训练即可训练并获得高质量样本,但作为分类器仍不敌正则化MLP。MP-DBM把均匀场方程视为一族循环推断网络,用反向传播训练它们准确预测被遮蔽单元,得到精确梯度并支持缺失输入推断,代价是不再优化似然,样本质量较差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 深度生成模型 · 查看原书依据
第一个是中心化深度玻尔兹曼机 (centered deep Boltzmann machine)(Montavon and Muller,2012),通过重参数化模型使其在开始学习过程时代价函数的Hessian具有更好的条件数。
参考来源
- 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html)
- 结论依据:原文分别介绍中心化重参数化的Hessian条件数收益与MP-DBM以推断准确性为准则的权衡。
- 原始内容:第一个是中心化深度玻尔兹曼机 (centered deep Boltzmann machine)(Montavon and Muller,2012),通过重参数化模型使其在开始学习过程时代价函数的Hessian具有更好的条件数。