知识卡片
生成模型与判别模型
在有监督学习内部,学习方法可再分为生成方法与判别方法,学到的模型分别称为生成模型与判别模型。分界的唯一标准是:有没有对输入 X 的分布建模。
| 生成模型 | 判别模型 | |
|---|---|---|
| 学什么 | 联合分布 P(X,Y),再求 P(Y|X) | 直接学决策函数 f(X) 或 P(Y|X) |
| 关心 | 数据如何生成 | 给定 X 该输出什么 Y |
| 典型 | 朴素贝叶斯、隐马尔可夫 | K 近邻、感知机、决策树、Logistic 回归、最大熵、SVM、提升方法、条件随机场 |
生成方法得名于:模型表达了”给定输入 X 产生输出 Y”的生成关系,因此它不仅能分类,还能采样出新的样本。判别方法则跳过输入的分布,直接对着预测目标优化。
由此产生的取舍:
- 生成方法能还原联合分布 P(X,Y),判别方法不能;学习收敛速度一般更快;存在隐变量时仍可使用,判别方法不能。
- 判别方法直接面对预测,准确度往往更高;且可以直接对数据做各种程度的抽象、自定义特征,从而简化学习问题。
一句话判据:模型里若出现了”输入是怎么来的”这一层(对 P(X) 或 P(X,Y) 建模),就是生成式;若从输入直接跳到输出,就是判别式。这个划分会反复出现在后续章节的模型对比里(如朴素贝叶斯与 Logistic 回归),也是 [[六种损失函数各自服务谁]] 中不同损失来源的根源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 机器学习概述 1.2 机器学习分类 · 查看原书依据
生成方法是由数据学习训练集的联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型
参考来源
- 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html)
- 结论依据:原文分别给出生成方法与判别方法的建模对象、典型模型,并列出两者各自的特点。
- 原始内容:生成方法是由数据学习训练集的联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型