← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9421.i · 生成模型:Tencent Hunyuan Hy

自编码器的发展路径

理解等级:初级

自编码器自神经网络中的模块化学习被提出后,逐步扩展到降维与线性特征学习,近十年涌现出多种变体。2008 年 Vincent 等人提出去噪自编码器(DAE),强迫网络从被损坏的输入中重建原始数据,以学到更鲁棒的特征;Goodfellow 等人用稀疏约束扩展隐藏表示,形成稀疏自编码器;Rifai 提出压缩自编码器,在成本函数中加入惩罚项,使提取的表示对输入周围的微小变化不敏感;2013 年变分自编码器(VAE)出现,把潜在变量的概率分布纳入考量。它们虽在架构或约束形式上各异,却共享同一目标——学习更健壮的表示,详见 [[去噪自编码器]]、[[稀疏自编码器]]、[[压缩自编码器]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文按时间与代表人物列出 DAE、稀疏、压缩、VAE 等变体的提出与动机,支持自编码器发展路径的梳理。 - 原始内容:自编码器随着时间的推移而发展,在过去的十年中提出了几种变体。 在 2008 年,P.Vincent 等人。 《使用降噪自编码器提取和构成稳健特征》介绍了去噪自编码器(DAE), 网络被迫从损坏的版本中重建输入数据,以便他们可以学习更强大的特征。