知识卡片
预训练的有效性条件
无监督预训练融合了两种想法:初始参数的选择带来正则化效果,以及学习输入分布有助于学习输入输出映射。从正则化角度看,当标注样本很少、未标注样本很多时它最有帮助;从表示角度看,它对one-hot词向量这类原始表示很差的任务特别有用,因为学成的词嵌入能用距离编码相似性,而对图像帮助较小,因为图像本身已处在丰富的向量空间。Erhan等人的实验显示,预训练让网络一致收敛到函数空间中较小的区域,降低估计方差,从而降低严重过拟合风险。但两阶段训练缺少单一超参数来调节正则化强度、反馈延迟长,现代方法因而更倾向无监督与监督联合训练。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 表示学习 · 查看原书依据
从无监督预训练作为正则化项的角度来看,我们可以期望无监督预训练在标注样本数量非常小时很有帮助。因为无监督预训练添加的信息来源于未标注数据,所以当未标注样本的数量非常大时,我们也可以期望无监督预训练的效果最好。
参考来源
- 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:原文指出从正则化角度标注样本少、未标注样本多时预训练最有帮助,词嵌入受益而图像不然;Erhan实验则表明预训练把网络引向更小区域、减小方差,并讨论了缺少可调超参数的缺点。
- 原始内容:从无监督预训练作为正则化项的角度来看,我们可以期望无监督预训练在标注样本数量非常小时很有帮助。因为无监督预训练添加的信息来源于未标注数据,所以当未标注样本的数量非常大时,我们也可以期望无监督预训练的效果最好。