← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9895.a · 生成模型:Hunyuan

欠完备自编码器与PCA

理解等级:中级

欠完备自编码器把隐藏编码的维度限制为小于输入维度,这个瓶颈迫使网络只能保留训练数据中最显著的特征,而无法逐位记忆输入。损失 L 惩罚重构 g(f(x)) 与 x 的差异,例如均方误差。一个重要的理论结论是:当解码器为线性、损失取均方误差时,欠完备自编码器学到的生成子空间与主成分分析(PCA)相同。若编码器和解码器都非线性,它就成为 PCA 更强的非线性推广。但要警惕容量陷阱:若编解码器容量过大,即便编码只有一维,也能把每个样本索引成整数再解码回原值,从而学不到数据分布的任何有用信息。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 自编码器 · 查看原书依据

      当解码器是线性的且L是均方误差,欠完备的自编码器会学习出与PCA相同的生成子空间。这种情况下,自编码器在训练来执行复制任务的同时学到了训练数据的主元子空间。

    参考来源

    - 位置:《深度学习》第14章 自编码器(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文明确指出线性解码器与均方误差下欠完备自编码器学到与PCA相同的子空间,并用一维编码配强编码器的反例说明容量过大时的失效。 - 原始内容:当解码器是线性的且L是均方误差,欠完备的自编码器会学习出与PCA相同的生成子空间。这种情况下,自编码器在训练来执行复制任务的同时学到了训练数据的主元子空间。