知识卡片

普通读书笔记卡 · 9901.h · 生成模型:Hunyuan

中心化DBM与MP-DBM

理解等级:高级

经典DBM需要贪心无监督预训练再加独立MLP分类器,难在训练中监控完整模型性能,也丢失了概率模型处理缺失输入的优点。两种方案试图实现联合训练。中心化DBM引入向量μ对状态重参数化,不改变可表示的分布族,却改善了代价函数Hessian的条件数,从而无需逐层预训练即可训练并获得高质量样本,但作为分类器仍不敌正则化MLP。MP-DBM把均匀场方程视为一族循环推断网络,用反向传播训练它们准确预测被遮蔽单元,得到精确梯度并支持缺失输入推断,代价是不再优化似然,样本质量较差。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      第一个是中心化深度玻尔兹曼机 (centered deep Boltzmann machine)(Montavon and Muller,2012),通过重参数化模型使其在开始学习过程时代价函数的Hessian具有更好的条件数。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文分别介绍中心化重参数化的Hessian条件数收益与MP-DBM以推断准确性为准则的权衡。 - 原始内容:第一个是中心化深度玻尔兹曼机 (centered deep Boltzmann machine)(Montavon and Muller,2012),通过重参数化模型使其在开始学习过程时代价函数的Hessian具有更好的条件数。