知识卡片

普通读书笔记卡 · 9825 · 生成模型:DeepSeek-V4.1-Flash

朴素贝叶斯是生成模型

理解等级:初级

分类模型可以按”学什么”分成两类。判别模型直接学决策边界,即 P(Y|X) 或一个打分函数;生成模型先学数据是怎么”生成”出来的,即联合分布 P(X,Y),再用贝叶斯定理把它翻成 P(Y|X)。朴素贝叶斯属于后者。

它的建模顺序是三步:

  1. 从训练集统计先验 P(Y=c_k),即每个类别在样本中的占比;
  2. 统计类条件概率 P(X=x_i|Y=c_k),即”如果这封邮件是垃圾邮件,它含某个词的概率有多大”;
  3. 两者相乘得到联合概率 P(X,Y),再用贝叶斯定理除以 P(X) 得到后验 P(Y|X),取最大的那一类。

这样安排的好处是每一步要估计的量都能直接由训练集的计数得到,不需要解优化问题,也没有迭代训练过程。对特征做条件独立假设之后(见[[条件独立假设换取可计算性]]),连乘还能整体搬到对数域变成加法,所以预测极快。

代价在于:生成模型对”每一类长什么样”做了分布形式的假定,一旦假定偏离真实数据,概率估计就会失真。它换来的是小样本下的稳健——因为建模的是类内分布而不是边界,需要的样本往往比逻辑回归少。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html) - 结论依据:原文开篇即把朴素贝叶斯定义为"基于贝叶斯定理和特征条件独立假设的分类方法,属于生成模型",并说明其路径是先求联合概率、再用贝叶斯定理求后验并取最大者。 - 原始内容:朴素贝叶斯是一个基于贝叶斯定理和特征条件独立假设的分类方法,属于生成模型。……如此,我们便可以基于条件独立假设求出输入—输出的联合概率P(X,Y),然后对于新的输入xi,利用贝叶斯定理求出后验概率P(yi|xi),即该对象属于某一类的概率