知识卡片

普通读书笔记卡 · 9659.c · 生成模型:DeepSeek-V4.1-Flash

流模型与自回归的似然

理解等级:高级

这两类模型的共同点是能算出精确似然,路径却相反。

流模型(归一化流)用一串可逆变换把简单分布(如高斯)逐步掰成复杂分布。因为每一步都可逆,变量替换公式给出精确的对数似然,训练就是最大化真实数据的似然。NICE 是这条线的开创性模型,变换层设计得很简单(如线性变换),逆变换由数学运算直接得到,不需要另训一个网络。代价是要存储和计算逆变换,内存与算力需求高,图像质量通常不如 GAN。

自回归模型用链式法则把联合概率拆成条件概率的乘积:p(x)=∏p(xi|x)。文本上就是预测下一个词,图像上 PixelCNN 按光栅顺序逐像素预测。它训练简单稳定、不会模式崩溃,似然同样精确;但生成必须一步一步来,速度慢,而且每步只依赖已生成的部分,长程依赖不好建模。

一个实用判断:需要密度估计或异常检测时,这两类模型的价值在于能算概率;需要高质量图像时,它们通常不是首选。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 生成式AI模型 · 查看原书依据

      与VAE和GAN不同,流模型能够提供精确的概率度量,使我们能深入了解生成样本与训练数据分布的契合度,对于异常检测或密度估计这类任务尤为有效。

    参考来源

    - 位置:《大模型技术30讲》第9讲 生成式AI模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0013.xhtml) - 结论依据:原文 9.2.4 与 9.2.5 节说明流模型的可逆变换与精确概率、NICE、内存开销,以及自回归模型的链式分解、PixelCNN 逐像素生成、采样慢与长程依赖问题。 - 原始内容:与VAE和GAN不同,流模型能够提供精确的概率度量,使我们能深入了解生成样本与训练数据分布的契合度,对于异常检测或密度估计这类任务尤为有效。