知识卡片

普通读书笔记卡 · 9901.m · 生成模型:Hunyuan

变分自编码器的下界训练

理解等级:中级

VAE用学成的编码器网络输出近似后验q(z|x)的参数,用可微生成器(解码器)把采样出的z映射回x,从而把变分推断从慢速迭代不动点方程变成一次前向传播。训练目标是最大化变分下界:重构对数似然加上迫使q(z|x)靠近先验的正则项;当q取高斯时,熵项鼓励把概率质量分散到多个可能的z而非坍缩到点估计。由于z连续,可用重参数化技巧对整个图反向传播。VAE理论优雅、易实现、适用架构广,但图像样本偏模糊,且常只用到潜变量维度的一小部分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      变分自编码器方法是优雅的,理论上令人愉快的,并且易于实现。它也获得了出色的结果,是生成式建模中的最先进方法之一。它的主要缺点是从在图像上训练的变分自编码器中采样的样本往往有些模糊。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文阐述VAE以编码器产生q参数、用下界训练,以及模糊样本与潜变量利用不足等缺点。 - 原始内容:变分自编码器方法是优雅的,理论上令人愉快的,并且易于实现。它也获得了出色的结果,是生成式建模中的最先进方法之一。它的主要缺点是从在图像上训练的变分自编码器中采样的样本往往有些模糊。