知识卡片
DBN贪心逐层训练
DBN采用贪心逐层策略训练:先用对比散度或随机最大似然训练一个RBM作为第一层;再把第一个RBM隐藏单元的采样当作数据,训练第二个RBM去建模这个分布;如此反复堆叠,每层RBM都对前一层的样本建模。该过程可解释为不断提升数据在DBN下似然的变分下界。训练完成后通常不再联合精调,但可用醒眠算法做生成精调。更常见的用法是把权重直接初始化一个MLP再做判别性精调用于分类;这种MLP只是启发式选择,并非紧变分下界,因为它只把信息向上前向传播,忽略了同层交互与自上而下的反馈。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 深度生成模型 · 查看原书依据
换句话说,第二个RBM被训练为模拟由第一个RBM的隐藏单元采样定义的分布,而第一个RBM由数据驱动。这个过程能无限重复,从而向DBN添加任意多层,其中每个新的RBM对前一个RBM的样本建模。
参考来源
- 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html)
- 结论依据:原文详述逐层RBM训练规则、下界解释以及判别性精调的启发式性质与局限。
- 原始内容:换句话说,第二个RBM被训练为模拟由第一个RBM的隐藏单元采样定义的分布,而第一个RBM由数据驱动。这个过程能无限重复,从而向DBN添加任意多层,其中每个新的RBM对前一个RBM的样本建模。