知识卡片
自编码器把无监督表征学习拆成压缩与重建
内容
自编码器由编码器和解码器两部分组成：编码器把高维输入（比如784个像素的图像）压缩成一组低维特征（比如10个数），解码器再尝试用这组压缩特征重建出接近原始输入的结果。整个训练过程不需要任何标签，模型靠”能不能把自己重建回去”这个信号来学习，压缩出的低维特征本身就承载了数据的核心结构，可以直接拿来做后续任务（如聚类）而不需要解码器参与。
参考来源
- 位置：《数据科学工程实践》第12章《基于LSTM-Autoencoder的无监督聚类模型》"12.3.1 基于深度学习的聚类算法原理·预训练阶段"一节（源文件：_epub-src/OEBPS/Text/part0068.xhtml）
- 结论依据：原文明确自编码器"由两个部分构成：编码器和解码器。编码器用于将输入数据压缩到较低维度特征……解码器将压缩特征作为输入，尽可能地重建与原始图像接近的图像"，并说明"当我们使用自编码器进行聚类任务时，不需要重构图像，只需要把编码器中的压缩特征提取出来"。
- 原始内容：自编码器在原理上是一种数据压缩算法，由两个部分构成：编码器和解码器。编码器用于将输入数据压缩到较低维度特征。例如一个28像素×28像素的MNIST图像样本共有784个像素，我们构建的编码器可以将其压缩为只有10个浮点数的数组，也称为图像特征。另一方面，解码器将压缩特征作为输入，尽可能地重建与原始图像接近的图像……当我们使用自编码器进行聚类任务时，不需要重构图像，只需要把编码器中的压缩特征提取出来，这些压缩特征等同于传统聚类方法的簇类。