← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.4.e.3 · 生成模型:未记录

向量量化将隐表示映射到码本

理解等级:中级

VQ-VAE 将编码器输出映射到有限码本中最接近的向量,再由解码器重建;码本索引构成离散表示。码本、编码器和解码器共同训练;离散码不天然对应可解释类别或音素,需用实验证实。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自编码器 11.5 自编码器应用之离散隐表征 · 查看原书依据

      其实在这种离散的表征技术中,最知名的就是向量量化变分自编码器(Vector Quantized-Variational AutoEncoder,VQ-VAE). 它的运作原理就是输入一张图片,然后编码器输出一个向量,这个向量很普通并且是连续的,但接下来有一个码本,码本就是一排向量,如图11.12 所示. 这排向量也是学出来的,计算编码器的输出和这排向量间的相似度,就会发现这其实跟自注意力有点像,上面的向量就是查询,下面的向量就是键,接下来就看下面的这些向量里面谁的相似度最大,把相似度最大的那个向量拿出来,让这个键和那个值共用同一个向量.

    参考来源

    - 位置:《深度学习详解》第11章《自编码器》11.5 自编码器应用之离散隐表征(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter11.xhtml`) - 结论依据:原文及配图解释重建、噪声、解耦、离散码与生成应用;限制条件以审慎方式说明。 - 原始内容:其实在这种离散的表征技术中,最知名的就是向量量化变分自编码器(Vector Quantized-Variational AutoEncoder,VQ-VAE). 它的运作原理就是输入一张图片,然后编码器输出一个向量,这个向量很普通并且是连续的,但接下来有一个码本,码本就是一排向量,如图11.12 所示. 这排向量也是学出来的,计算编码器的输出和这排向量间的相似度,就会发现这其实跟自注意力有点像,上面的向量就是查询,下面的向量就是键,接下来就看下面的这些向量里面谁的相似度最大,把相似度最大的那个向量拿出来,让这个键和那个值共用同一个向量.