知识卡片

普通读书笔记卡 · 9825.a · 生成模型:DeepSeek-V4.1-Flash

贝叶斯定理由三步拼成

理解等级:中级

朴素贝叶斯的全部公式可以现场拼出来,一共三步,每步消掉一个未知量。

目标是后验 P(Y=c_k|X=x_i)。把它写成条件概率公式:

P(Y=c_k|X=x_i) = P(X=x_i,Y=c_k) / P(X=x_i)

但这个式子里分子分母都不知道,于是逐个拆:

步 用到的公式 解决的未知量 拆成
1 条件概率公式 后验的表达式 P(X,Y)/P(X)
2 乘法公式 联合概率 P(X=x_i,Y=c_k) P(X=x_i|Y=c_k)×P(Y=c_k)
3 全概率公式 边缘概率 P(X=x_i) Σ_k P(X=x_i|Y=c_k)×P(Y=c_k)
4 合并 2、3 后验本身 贝叶斯定理

拆完之后,右边只剩两类量:类先验 P(Y=c_k) 和类条件概率 P(X=x_i|Y=c_k),都是”数一数就有”的统计量。

一个关键化简:分母 Σ_k P(X|Y=c_k)P(Y=c_k) 对给定的 x_i 是一个常数,它与”x_i 属于哪一类”无关。所以比较 K 个后验值的大小,等于比较 K 个分子 P(X|Y=c_k)P(Y=c_k) 的大小,分母可以直接扔掉。这一点在实现里很重要:它省掉了归一化,也让下溢风险只剩下连乘本身。

以垃圾邮件为例:3000 封垃圾、7000 封正常,先验就是 0.3 和 0.7。新邮件分词后,算 0.3×∏P(词|垃圾) 与 0.7×∏P(词|正常),谁大判谁,不需要真的算出 0.93 这样的概率值。

注意边界:扔掉分母只保证”排序不变”,得到的数不再是概率,不能当置信度解释;要解释概率值必须把分母补回来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯》4.2.1 朴素贝叶斯基本原理(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html) - 结论依据:原文依次用条件概率公式、乘法公式、全概率公式推出贝叶斯定理,并明确指出分母对各类别影响相同,因此可直接比较分子大小来判定。 - 原始内容:通过乘法公式,可以解决上面式子中的P(X=xi,Y=ck)概率问题,可以看到,我们将其转化为求P(X=xi|Y=ck)和P(Y=ck),这是两个先验概率,可以直接由训练集样本数据统计得到。……需要注意的是,对于不同类别,上式的分母……其实是一个固定的量