知识卡片
生成式与判别式之分
这是两种建模世界的姿势,差别在于学哪个概率。
生成式模型学 p(x),或者学输入与标签的联合分布 p(x,y)。它试图还原数据是怎么被生成出来的,因此不仅能分类,还能从分布里采样出新样本、处理缺失输入。朴素贝叶斯是典型:它假设特征在类别条件下独立,据此建模联合分布。
判别式模型只学 p(y|x),直接画决策边界,不对数据分布做假设。逻辑回归是典型:它不关心一条数据是怎么来的,只关心给定特征时标签的概率。
取舍很清楚:生成式假设更强、能生成、对小样本更稳,但假设不成立时偏差大;判别式通常分类更直接、所需假设更少,但不会生成,也无法判断样本是否像真实数据。
深度生成模型把生成式这一侧推到极致:模型不再显式写分布,而是学会从噪声或潜变量造出逼真的图像、文本与音频。后面几类模型的差异,本质上就是用什么方式逼近这个分布。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 生成式AI模型 · 查看原书依据
生成式模型的目标是捕获输入数据的概率分布,或输入数据与输出标签之间的联合概率分布。而判别式模型则专注于在给定输入的条件下,对输出标签的条件概率分布进行模型构建。
参考来源
- 位置:《大模型技术30讲》第9讲 生成式AI模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0013.xhtml)
- 结论依据:原文 9.1 节以朴素贝叶斯与逻辑回归对比联合分布与条件分布的建模方式,并说明生成式模型捕获数据生成过程、可从分布采样。
- 原始内容:生成式模型的目标是捕获输入数据的概率分布,或输入数据与输出标签之间的联合概率分布。而判别式模型则专注于在给定输入的条件下,对输出标签的条件概率分布进行模型构建。