知识卡片

普通读书笔记卡 · 9659 · 生成模型:DeepSeek-V4.1-Flash

生成式与判别式之分

理解等级:初级

这是两种建模世界的姿势,差别在于学哪个概率。

生成式模型学 p(x),或者学输入与标签的联合分布 p(x,y)。它试图还原数据是怎么被生成出来的,因此不仅能分类,还能从分布里采样出新样本、处理缺失输入。朴素贝叶斯是典型:它假设特征在类别条件下独立,据此建模联合分布。

判别式模型只学 p(y|x),直接画决策边界,不对数据分布做假设。逻辑回归是典型:它不关心一条数据是怎么来的,只关心给定特征时标签的概率。

取舍很清楚:生成式假设更强、能生成、对小样本更稳,但假设不成立时偏差大;判别式通常分类更直接、所需假设更少,但不会生成,也无法判断样本是否像真实数据。

深度生成模型把生成式这一侧推到极致:模型不再显式写分布,而是学会从噪声或潜变量造出逼真的图像、文本与音频。后面几类模型的差异,本质上就是用什么方式逼近这个分布。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 生成式AI模型 · 查看原书依据

      生成式模型的目标是捕获输入数据的概率分布,或输入数据与输出标签之间的联合概率分布。而判别式模型则专注于在给定输入的条件下,对输出标签的条件概率分布进行模型构建。

    参考来源

    - 位置:《大模型技术30讲》第9讲 生成式AI模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0013.xhtml) - 结论依据:原文 9.1 节以朴素贝叶斯与逻辑回归对比联合分布与条件分布的建模方式,并说明生成式模型捕获数据生成过程、可从分布采样。 - 原始内容:生成式模型的目标是捕获输入数据的概率分布,或输入数据与输出标签之间的联合概率分布。而判别式模型则专注于在给定输入的条件下,对输出标签的条件概率分布进行模型构建。