知识卡片
自编码器的发展路径
自编码器自神经网络中的模块化学习被提出后,逐步扩展到降维与线性特征学习,近十年涌现出多种变体。2008 年 Vincent 等人提出去噪自编码器(DAE),强迫网络从被损坏的输入中重建原始数据,以学到更鲁棒的特征;Goodfellow 等人用稀疏约束扩展隐藏表示,形成稀疏自编码器;Rifai 提出压缩自编码器,在成本函数中加入惩罚项,使提取的表示对输入周围的微小变化不敏感;2013 年变分自编码器(VAE)出现,把潜在变量的概率分布纳入考量。它们虽在架构或约束形式上各异,却共享同一目标——学习更健壮的表示,详见 [[去噪自编码器]]、[[稀疏自编码器]]、[[压缩自编码器]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 受限玻尔兹曼机和自编码器 自编码器的本质与发展 · 查看原书依据
自编码器随着时间的推移而发展,在过去的十年中提出了几种变体。 在 2008 年,P.Vincent 等人。 《使用降噪自编码器提取和构成稳健特征》介绍了去噪自编码器(DAE), 网络被迫从损坏的版本中重建输入数据,以便他们可以学习更强大的特征。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文按时间与代表人物列出 DAE、稀疏、压缩、VAE 等变体的提出与动机,支持自编码器发展路径的梳理。
- 原始内容:自编码器随着时间的推移而发展,在过去的十年中提出了几种变体。 在 2008 年,P.Vincent 等人。 《使用降噪自编码器提取和构成稳健特征》介绍了去噪自编码器(DAE), 网络被迫从损坏的版本中重建输入数据,以便他们可以学习更强大的特征。