知识卡片

普通读书笔记卡 · 9659.b · 生成模型:DeepSeek-V4.1-Flash

VAE与GAN的潜空间

理解等级:中级

两者都从潜空间采样生成数据,但训练信号完全不同,失败方式也完全不同。

VAE 由编码器和解码器组成。编码器把输入映射成潜空间上的一个概率分布(通常是高斯,均值和方差由输入决定),从中采样得到潜向量,解码器再把它还原成数据。损失是两项之和:重建损失保证输出像输入,KL 散度正则项把潜分布拉向标准高斯,保证潜空间规整、可以随意采样。训练稳定,但重建目标倾向于平均化,图像容易偏模糊。

GAN 由生成器和判别器组成。生成器把随机噪声变成假样本,判别器判断真假,两者对抗着一起训练。它不写显式似然,样本通常更锐利,但训练是一场博弈:学习速率难以平衡,容易出现振荡、不收敛,最典型的是模式崩溃——生成器只靠少数几类样本就能骗过判别器,多样性大幅下降。

选择上,要稳定、要可解释的潜空间,VAE 更合适;要锐利样本且愿意调参,GAN 更强。二者都难在覆盖整个分布这件事上。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 生成式AI模型 · 查看原书依据

      GAN的一大缺点是其损失函数及学习过程的对抗性质导致训练不稳定。平衡生成器和判别器的学习速率可能相当困难,并且经常引发振荡、模式崩溃或无法收敛的问题。

    参考来源

    - 位置:《大模型技术30讲》第9讲 生成式AI模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0013.xhtml) - 结论依据:原文 9.2.2 与 9.2.3 节分别说明 VAE 的编码器-解码器结构、重建损失加 KL 正则、生成偏模糊,以及 GAN 的生成器-判别器对抗、训练不稳定与模式崩溃。 - 原始内容:GAN的一大缺点是其损失函数及学习过程的对抗性质导致训练不稳定。平衡生成器和判别器的学习速率可能相当困难,并且经常引发振荡、模式崩溃或无法收敛的问题。