知识卡片

普通读书笔记卡 · 9896.b · 生成模型:Hunyuan

预训练的有效性条件

理解等级:高级

无监督预训练融合了两种想法:初始参数的选择带来正则化效果,以及学习输入分布有助于学习输入输出映射。从正则化角度看,当标注样本很少、未标注样本很多时它最有帮助;从表示角度看,它对one-hot词向量这类原始表示很差的任务特别有用,因为学成的词嵌入能用距离编码相似性,而对图像帮助较小,因为图像本身已处在丰富的向量空间。Erhan等人的实验显示,预训练让网络一致收敛到函数空间中较小的区域,降低估计方差,从而降低严重过拟合风险。但两阶段训练缺少单一超参数来调节正则化强度、反馈延迟长,现代方法因而更倾向无监督与监督联合训练。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 表示学习 · 查看原书依据

      从无监督预训练作为正则化项的角度来看,我们可以期望无监督预训练在标注样本数量非常小时很有帮助。因为无监督预训练添加的信息来源于未标注数据,所以当未标注样本的数量非常大时,我们也可以期望无监督预训练的效果最好。

    参考来源

    - 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文指出从正则化角度标注样本少、未标注样本多时预训练最有帮助,词嵌入受益而图像不然;Erhan实验则表明预训练把网络引向更小区域、减小方差,并讨论了缺少可调超参数的缺点。 - 原始内容:从无监督预训练作为正则化项的角度来看,我们可以期望无监督预训练在标注样本数量非常小时很有帮助。因为无监督预训练添加的信息来源于未标注数据,所以当未标注样本的数量非常大时,我们也可以期望无监督预训练的效果最好。