知识卡片
贝叶斯定理由三步拼成
朴素贝叶斯的全部公式可以现场拼出来,一共三步,每步消掉一个未知量。
目标是后验 P(Y=c_k|X=x_i)。把它写成条件概率公式:
P(Y=c_k|X=x_i) = P(X=x_i,Y=c_k) / P(X=x_i)
但这个式子里分子分母都不知道,于是逐个拆:
| 步 | 用到的公式 | 解决的未知量 | 拆成 |
|---|---|---|---|
| 1 | 条件概率公式 | 后验的表达式 | P(X,Y)/P(X) |
| 2 | 乘法公式 | 联合概率 P(X=x_i,Y=c_k) | P(X=x_i|Y=c_k)×P(Y=c_k) |
| 3 | 全概率公式 | 边缘概率 P(X=x_i) | Σ_k P(X=x_i|Y=c_k)×P(Y=c_k) |
| 4 | 合并 2、3 | 后验本身 | 贝叶斯定理 |
拆完之后,右边只剩两类量:类先验 P(Y=c_k) 和类条件概率 P(X=x_i|Y=c_k),都是”数一数就有”的统计量。
一个关键化简:分母 Σ_k P(X|Y=c_k)P(Y=c_k) 对给定的 x_i 是一个常数,它与”x_i 属于哪一类”无关。所以比较 K 个后验值的大小,等于比较 K 个分子 P(X|Y=c_k)P(Y=c_k) 的大小,分母可以直接扔掉。这一点在实现里很重要:它省掉了归一化,也让下溢风险只剩下连乘本身。
以垃圾邮件为例:3000 封垃圾、7000 封正常,先验就是 0.3 和 0.7。新邮件分词后,算 0.3×∏P(词|垃圾) 与 0.7×∏P(词|正常),谁大判谁,不需要真的算出 0.93 这样的概率值。
注意边界:扔掉分母只保证”排序不变”,得到的数不再是概率,不能当置信度解释;要解释概率值必须把分母补回来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 朴素贝叶斯 4.2.1 朴素贝叶斯基本原理 · 查看原书依据
需要注意的是,对于不同类别,上式的分母
参考来源
- 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯》4.2.1 朴素贝叶斯基本原理(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html)
- 结论依据:原文依次用条件概率公式、乘法公式、全概率公式推出贝叶斯定理,并明确指出分母对各类别影响相同,因此可直接比较分子大小来判定。
- 原始内容:通过乘法公式,可以解决上面式子中的P(X=xi,Y=ck)概率问题,可以看到,我们将其转化为求P(X=xi|Y=ck)和P(Y=ck),这是两个先验概率,可以直接由训练集样本数据统计得到。……需要注意的是,对于不同类别,上式的分母……其实是一个固定的量