← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9421.h · 生成模型:Tencent Hunyuan Hy

自编码器:编码与解码

理解等级:初级

自编码器(AE)是一类以重建输入为目标的网络,基本结构为输入层、隐藏层、输出层三层,输出层就是经隐藏层重建的输入。数据进入后先被编码以适配隐藏层,再尝试重构回原始输入;网络前半部分叫编码器,把输入压缩为潜在表示,后半部分叫解码器,把该表示解压还原,隐藏层因此学到输入的潜在表示。AE 与 RBM 都想最小化重构误差,但机制不同:AE 以判别式方式学隐藏表示,不显式考虑输入数据的概率分布;RBM 则通过对隐藏层与输入层采样、以随机方式找到隐藏表示。这一区别延续到 [[自编码器的发展路径]] 中的各种变体。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 受限玻尔兹曼机和自编码器 自编码器的本质与发展 · 查看原书依据

      可以看到,当自编码器接收数据时,它首先对其进行编码以适合隐藏层,然后尝试将其重新构造回原始输入数据。 同时,隐藏层可以提取输入数据的潜在表示。 由于这种结构,网络的前半部分称为编码器,该编码器将输入数据压缩为潜在表示。 相反,后半部分是解码器,用于对提取的表示进行解压缩。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文先说明 AE 编码—解码的三层结构与潜在表示,再指出 AE 判别式与 RBM 随机采样的差别,支撑本质与区别的表述。 - 原始内容:可以看到,当自编码器接收数据时,它首先对其进行编码以适合隐藏层,然后尝试将其重新构造回原始输入数据。 同时,隐藏层可以提取输入数据的潜在表示。 由于这种结构,网络的前半部分称为编码器,该编码器将输入数据压缩为潜在表示。 相反,后半部分是解码器,用于对提取的表示进行解压缩。