知识卡片
逐层预训练再整体微调
贪婪逐层预训练的思路是:每次只训练一层,用得到的参数作为整个深网的初始值。先训练只有一个隐层的网络,再训练两个隐层的网络——此时固定已训练好的前 k-1 层,把它们的输出当作第 k 层的输入来训练,依此类推。每层都是一个 RBM,用 CD 算法训练,其分布 Q(h^k|h^{k-1}) 作为 DBN 后验的近似;下一层输入可用采样值,也可用均值向量(mean field)。预训练后,再用 Up-down(Wake-sleep 变体)无监督微调,或在顶层加线性分类器、按有监督准则微调(fine-tuning),使参数整体协调。其意义是把“深网难优化”转化为“多个浅层易优化”,且无标注数据也能逐层学到表示。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络与深度学习 · 查看原书依据
贪婪逐层预训练学习的基本思想为:每次只训练网络中的一层,以此得到网络的初始参数值。具体而言,首先训练只含一个隐层的网络,得到其初始参数值,接着训练含两个隐层的网络,随后训练含三个隐层的网络,依此类推。
参考来源
- 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0002.xhtml,6.2.2 深度信念网)
- 结论依据:原文详述预训练“每次只训练一层、固定前 k-1 层”的做法,以及随后用 Up-down 或有监督准则微调。
- 原始内容:贪婪逐层预训练学习的基本思想为:每次只训练网络中的一层,以此得到网络的初始参数值。具体而言,首先训练只含一个隐层的网络,得到其初始参数值,接着训练含两个隐层的网络,随后训练含三个隐层的网络,依此类推。