知识卡片

普通读书笔记卡 · 9901.e · 生成模型:Hunyuan

DBN贪心逐层训练

理解等级:中级

DBN采用贪心逐层策略训练:先用对比散度或随机最大似然训练一个RBM作为第一层;再把第一个RBM隐藏单元的采样当作数据,训练第二个RBM去建模这个分布;如此反复堆叠,每层RBM都对前一层的样本建模。该过程可解释为不断提升数据在DBN下似然的变分下界。训练完成后通常不再联合精调,但可用醒眠算法做生成精调。更常见的用法是把权重直接初始化一个MLP再做判别性精调用于分类;这种MLP只是启发式选择,并非紧变分下界,因为它只把信息向上前向传播,忽略了同层交互与自上而下的反馈。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      换句话说,第二个RBM被训练为模拟由第一个RBM的隐藏单元采样定义的分布,而第一个RBM由数据驱动。这个过程能无限重复,从而向DBN添加任意多层,其中每个新的RBM对前一个RBM的样本建模。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文详述逐层RBM训练规则、下界解释以及判别性精调的启发式性质与局限。 - 原始内容:换句话说,第二个RBM被训练为模拟由第一个RBM的隐藏单元采样定义的分布,而第一个RBM由数据驱动。这个过程能无限重复,从而向DBN添加任意多层,其中每个新的RBM对前一个RBM的样本建模。