← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9635.v · 生成模型:DeepSeek-V4.1-Flash

逐层预训练再整体微调

理解等级:高级

贪婪逐层预训练的思路是:每次只训练一层,用得到的参数作为整个深网的初始值。先训练只有一个隐层的网络,再训练两个隐层的网络——此时固定已训练好的前 k-1 层,把它们的输出当作第 k 层的输入来训练,依此类推。每层都是一个 RBM,用 CD 算法训练,其分布 Q(h^k|h^{k-1}) 作为 DBN 后验的近似;下一层输入可用采样值,也可用均值向量(mean field)。预训练后,再用 Up-down(Wake-sleep 变体)无监督微调,或在顶层加线性分类器、按有监督准则微调(fine-tuning),使参数整体协调。其意义是把“深网难优化”转化为“多个浅层易优化”,且无标注数据也能逐层学到表示。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 神经网络与深度学习 · 查看原书依据

      贪婪逐层预训练学习的基本思想为:每次只训练网络中的一层,以此得到网络的初始参数值。具体而言,首先训练只含一个隐层的网络,得到其初始参数值,接着训练含两个隐层的网络,随后训练含三个隐层的网络,依此类推。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0002.xhtml,6.2.2 深度信念网) - 结论依据:原文详述预训练“每次只训练一层、固定前 k-1 层”的做法,以及随后用 Up-down 或有监督准则微调。 - 原始内容:贪婪逐层预训练学习的基本思想为:每次只训练网络中的一层,以此得到网络的初始参数值。具体而言,首先训练只含一个隐层的网络,得到其初始参数值,接着训练含两个隐层的网络,随后训练含三个隐层的网络,依此类推。