← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9895.f · 生成模型:Hunyuan

深度自编码器

理解等级:中级

自编码器的编码器和解码器不必是单层,采用深层结构能带来前馈网络的普遍优势。万能近似定理保证单隐藏层网络能以任意精度近似恒等映射,但此时输入到编码的映射是浅层的,难以施加稀疏等约束;深度编码器则能以任意精度近似任意输入到编码的映射。更深的结构还能指数级降低表示某些函数所需的计算量和训练数据量,实验也显示深度自编码器比浅层或线性自编码器压缩效率更好。不过训练深度架构并不容易,普遍策略是先贪心地训练一串浅层自编码器来预训练相应的深度网络,这也是为什么讨论中经常出现浅层自编码器。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 自编码器 · 查看原书依据

      实验中,深度自编码器能比相应的浅层或线性自编码器产生更好的压缩效率(Hinton and Salakhutdinov,2006)。 训练深度自编码器的普遍策略是训练一堆浅层的自编码器来贪心地预训练相应的深度架构。

    参考来源

    - 位置:《深度学习》第14章 自编码器(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文指出深度自编码器比浅层或线性自编码器压缩效率更好,并说明训练深度自编码器的普遍策略是贪心预训练堆叠的浅层自编码器。 - 原始内容:实验中,深度自编码器能比相应的浅层或线性自编码器产生更好的压缩效率(Hinton and Salakhutdinov,2006)。 训练深度自编码器的普遍策略是训练一堆浅层的自编码器来贪心地预训练相应的深度架构。