知识卡片
自编码器:编码与解码
自编码器(AE)是一类以重建输入为目标的网络,基本结构为输入层、隐藏层、输出层三层,输出层就是经隐藏层重建的输入。数据进入后先被编码以适配隐藏层,再尝试重构回原始输入;网络前半部分叫编码器,把输入压缩为潜在表示,后半部分叫解码器,把该表示解压还原,隐藏层因此学到输入的潜在表示。AE 与 RBM 都想最小化重构误差,但机制不同:AE 以判别式方式学隐藏表示,不显式考虑输入数据的概率分布;RBM 则通过对隐藏层与输入层采样、以随机方式找到隐藏表示。这一区别延续到 [[自编码器的发展路径]] 中的各种变体。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 受限玻尔兹曼机和自编码器 自编码器的本质与发展 · 查看原书依据
可以看到,当自编码器接收数据时,它首先对其进行编码以适合隐藏层,然后尝试将其重新构造回原始输入数据。 同时,隐藏层可以提取输入数据的潜在表示。 由于这种结构,网络的前半部分称为编码器,该编码器将输入数据压缩为潜在表示。 相反,后半部分是解码器,用于对提取的表示进行解压缩。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文先说明 AE 编码—解码的三层结构与潜在表示,再指出 AE 判别式与 RBM 随机采样的差别,支撑本质与区别的表述。
- 原始内容:可以看到,当自编码器接收数据时,它首先对其进行编码以适合隐藏层,然后尝试将其重新构造回原始输入数据。 同时,隐藏层可以提取输入数据的潜在表示。 由于这种结构,网络的前半部分称为编码器,该编码器将输入数据压缩为潜在表示。 相反,后半部分是解码器,用于对提取的表示进行解压缩。