知识卡片
零概率与拉普拉斯平滑
朴素贝叶斯的概率全靠计数,而计数会出 0:某个词在垃圾邮件里从没出现过,P(词|垃圾)=0。由于判类时是连乘,一个 0 就把整类的分子打成 0,这封邮件无论还含多少”垃圾词”都会被判为正常。这不是数据稀疏的偶然,而是必然——词表大、语料有限,绝大多数”词×类别”组合的计数都是 0。
根源。最大似然的计数估计把”没观测到”直接当成”不可能发生”。样本少时这个推断过强。
做法。在每个计数上加一个平滑因子:分子加 α,分母加 Kα。取 α=1 时就是拉普拉斯平滑。加了 Kα 是为了让各类(或各取值)的概率之和仍然等于 1,K 必须等于被加 α 的那些项的数量:
| α 取值 | 效果 |
|---|---|
| α=0 | 无平滑,出现零概率 |
| α=1 | 拉普拉斯平滑,每个未观测取值分到很小但非零的概率 |
| α 很小(如 0.01) | 文本分类中常见,只补零不显著改变已观测词的相对大小 |
为什么 α 能小到 0.01。平滑本质是往”均匀分布”拉。α 越大,估计越接近均匀,越平滑也越钝;α 越小,越接近原始计数,越锐利也越容易过拟合。文本任务词表大、计数多,取 1 会把大量概率质量分给从未出现的词,所以原文示例里 alpha 取 0.01 这种量级。这个值应当用验证集调,而不是照抄。
边界。平滑只解决”数值上不能为 0”,不解决”这个词确实没信息”。若某词在某一类中从未出现且样本充足,平滑后它仍然只有极小的概率,几乎不影响判定——这正是想要的行为。另外,平滑对先验概率同样适用:某一类在训练集中一次都没出现时,P(Y=c_k) 也需要加平滑,否则整类直接出局。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 朴素贝叶斯 4.2.4 拉普拉斯平滑 · 查看原书依据
的值均为0,即该邮件在垃圾邮件这一类别下的概率始终都为0,这明显不合理。
参考来源
- 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯》4.2.4 拉普拉斯平滑(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html)
- 结论依据:原文以"整个训练集都没出现过'机器学习'这个词"为例说明零概率会使整类概率恒为 0,并给出分子加 α、分母加 Kα 的平滑修正及 α=1 时称拉普拉斯平滑。
- 原始内容:如果整个训练集样本中都没有出现过“机器学习”这个词呢?那就相当于P(“机器学习”|“垃圾邮件”)=0,这样,不管样本xi中其他特征词在多少垃圾邮件中出现,最终……的值均为0,即该邮件在垃圾邮件这一类别下的概率始终都为0,这明显不合理。……当我们取α=1时,对应的平滑就称为“拉普拉斯平滑”。