知识卡片
流模型与自回归的似然
这两类模型的共同点是能算出精确似然,路径却相反。
流模型(归一化流)用一串可逆变换把简单分布(如高斯)逐步掰成复杂分布。因为每一步都可逆,变量替换公式给出精确的对数似然,训练就是最大化真实数据的似然。NICE 是这条线的开创性模型,变换层设计得很简单(如线性变换),逆变换由数学运算直接得到,不需要另训一个网络。代价是要存储和计算逆变换,内存与算力需求高,图像质量通常不如 GAN。
自回归模型用链式法则把联合概率拆成条件概率的乘积:p(x)=∏p(xi|x)。文本上就是预测下一个词,图像上 PixelCNN 按光栅顺序逐像素预测。它训练简单稳定、不会模式崩溃,似然同样精确;但生成必须一步一步来,速度慢,而且每步只依赖已生成的部分,长程依赖不好建模。
一个实用判断:需要密度估计或异常检测时,这两类模型的价值在于能算概率;需要高质量图像时,它们通常不是首选。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 生成式AI模型 · 查看原书依据
与VAE和GAN不同,流模型能够提供精确的概率度量,使我们能深入了解生成样本与训练数据分布的契合度,对于异常检测或密度估计这类任务尤为有效。
参考来源
- 位置:《大模型技术30讲》第9讲 生成式AI模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0013.xhtml)
- 结论依据:原文 9.2.4 与 9.2.5 节说明流模型的可逆变换与精确概率、NICE、内存开销,以及自回归模型的链式分解、PixelCNN 逐像素生成、采样慢与长程依赖问题。
- 原始内容:与VAE和GAN不同,流模型能够提供精确的概率度量,使我们能深入了解生成样本与训练数据分布的契合度,对于异常检测或密度估计这类任务尤为有效。