← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9895.b · 生成模型:Hunyuan

正则自编码器

理解等级:中级

正则自编码器不再依靠缩小编码维度或限制网络深度来控制容量,而是在损失函数中加入惩罚项,鼓励模型学习复制之外的其他特性,例如稀疏表示、对小导数(导数惩罚)以及对噪声或缺失输入的鲁棒性。这样做的好处是:即使模型容量大到足以学出无意义的恒等函数,非线性且过完备的正则自编码器仍能从数据中学到有用信息。从更广的视角看,几乎任何带潜变量并配有推断过程的生成模型都可视为自编码器的特殊形式,这把自编码器与生成式建模联系起来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 自编码器 · 查看原书依据

      正则自编码器使用的损失函数可以鼓励模型学习其他特性(除了将输入复制到输出),而不必限制使用浅层的编码器和解码器以及小的编码维数来限制模型的容量。

    参考来源

    - 位置:《深度学习》第14章 自编码器(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文说明正则自编码器用损失函数鼓励其他特性,从而无需浅层编解码器与小编码维数来限制容量,即使容量充足也能学到有用信息。 - 原始内容:正则自编码器使用的损失函数可以鼓励模型学习其他特性(除了将输入复制到输出),而不必限制使用浅层的编码器和解码器以及小的编码维数来限制模型的容量。