知识卡片
VAE与GAN的潜空间
两者都从潜空间采样生成数据,但训练信号完全不同,失败方式也完全不同。
VAE 由编码器和解码器组成。编码器把输入映射成潜空间上的一个概率分布(通常是高斯,均值和方差由输入决定),从中采样得到潜向量,解码器再把它还原成数据。损失是两项之和:重建损失保证输出像输入,KL 散度正则项把潜分布拉向标准高斯,保证潜空间规整、可以随意采样。训练稳定,但重建目标倾向于平均化,图像容易偏模糊。
GAN 由生成器和判别器组成。生成器把随机噪声变成假样本,判别器判断真假,两者对抗着一起训练。它不写显式似然,样本通常更锐利,但训练是一场博弈:学习速率难以平衡,容易出现振荡、不收敛,最典型的是模式崩溃——生成器只靠少数几类样本就能骗过判别器,多样性大幅下降。
选择上,要稳定、要可解释的潜空间,VAE 更合适;要锐利样本且愿意调参,GAN 更强。二者都难在覆盖整个分布这件事上。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 生成式AI模型 · 查看原书依据
GAN的一大缺点是其损失函数及学习过程的对抗性质导致训练不稳定。平衡生成器和判别器的学习速率可能相当困难,并且经常引发振荡、模式崩溃或无法收敛的问题。
参考来源
- 位置:《大模型技术30讲》第9讲 生成式AI模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0013.xhtml)
- 结论依据:原文 9.2.2 与 9.2.3 节分别说明 VAE 的编码器-解码器结构、重建损失加 KL 正则、生成偏模糊,以及 GAN 的生成器-判别器对抗、训练不稳定与模式崩溃。
- 原始内容:GAN的一大缺点是其损失函数及学习过程的对抗性质导致训练不稳定。平衡生成器和判别器的学习速率可能相当困难,并且经常引发振荡、模式崩溃或无法收敛的问题。