知识卡片

普通读书笔记卡 · 6473.d.4.e · 生成模型:未记录

自编码器通过重建学习表示

理解等级:中级

自编码器用编码器将输入映射到隐表示,再用解码器从表示重建输入,并最小化重建误差。瓶颈可迫使模型压缩信息;但重建好并不必然意味着表示适合某个下游任务,隐表示也不总是低维。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自编码器 11.1 自编码器的概念 · 查看原书依据

      我们希望编码器的输入跟解码器的输出越接近越好,这也是训练的目标. 换句话说,如果把图片看作一个很长的向量,我们希望这个向量跟解码器的输出向量之间的距离越近越好,也有人把这件事情叫作重构(reconstruction). 因为我们就是把一张图片压缩成一个向量,接下来解码器根据这个向量重建出原来的图片,原来的输入跟重建后的结果越接近越好. 讲到这里读者可能会发现,这个概念其实跟前面讲的 CycleGAN 比较类似.

    参考来源

    - 位置:《深度学习详解》第11章《自编码器》11.1 自编码器的概念(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter11.xhtml`) - 结论依据:原文及配图解释重建、噪声、解耦、离散码与生成应用;限制条件以审慎方式说明。 - 原始内容:我们希望编码器的输入跟解码器的输出越接近越好,这也是训练的目标. 换句话说,如果把图片看作一个很长的向量,我们希望这个向量跟解码器的输出向量之间的距离越近越好,也有人把这件事情叫作重构(reconstruction). 因为我们就是把一张图片压缩成一个向量,接下来解码器根据这个向量重建出原来的图片,原来的输入跟重建后的结果越接近越好. 讲到这里读者可能会发现,这个概念其实跟前面讲的 CycleGAN 比较类似.