← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9822.g · 生成模型:DeepSeek-V4.1-Flash

生成模型与判别模型

理解等级:中级

在有监督学习内部,学习方法可再分为生成方法与判别方法,学到的模型分别称为生成模型与判别模型。分界的唯一标准是:有没有对输入 X 的分布建模。

生成模型 判别模型
学什么 联合分布 P(X,Y),再求 P(Y|X) 直接学决策函数 f(X) 或 P(Y|X)
关心 数据如何生成 给定 X 该输出什么 Y
典型 朴素贝叶斯、隐马尔可夫 K 近邻、感知机、决策树、Logistic 回归、最大熵、SVM、提升方法、条件随机场

生成方法得名于:模型表达了”给定输入 X 产生输出 Y”的生成关系,因此它不仅能分类,还能采样出新的样本。判别方法则跳过输入的分布,直接对着预测目标优化。

由此产生的取舍:

  • 生成方法能还原联合分布 P(X,Y),判别方法不能;学习收敛速度一般更快;存在隐变量时仍可使用,判别方法不能。
  • 判别方法直接面对预测,准确度往往更高;且可以直接对数据做各种程度的抽象、自定义特征,从而简化学习问题。

一句话判据:模型里若出现了”输入是怎么来的”这一层(对 P(X) 或 P(X,Y) 建模),就是生成式;若从输入直接跳到输出,就是判别式。这个划分会反复出现在后续章节的模型对比里(如朴素贝叶斯与 Logistic 回归),也是 [[六种损失函数各自服务谁]] 中不同损失来源的根源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html) - 结论依据:原文分别给出生成方法与判别方法的建模对象、典型模型,并列出两者各自的特点。 - 原始内容:生成方法是由数据学习训练集的联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型