知识卡片

普通读书笔记卡 · 9825.e · 生成模型:DeepSeek-V4.1-Flash

零概率与拉普拉斯平滑

理解等级:中级

朴素贝叶斯的概率全靠计数,而计数会出 0:某个词在垃圾邮件里从没出现过,P(词|垃圾)=0。由于判类时是连乘,一个 0 就把整类的分子打成 0,这封邮件无论还含多少”垃圾词”都会被判为正常。这不是数据稀疏的偶然,而是必然——词表大、语料有限,绝大多数”词×类别”组合的计数都是 0。

根源。最大似然的计数估计把”没观测到”直接当成”不可能发生”。样本少时这个推断过强。

做法。在每个计数上加一个平滑因子:分子加 α,分母加 Kα。取 α=1 时就是拉普拉斯平滑。加了 Kα 是为了让各类(或各取值)的概率之和仍然等于 1,K 必须等于被加 α 的那些项的数量:

α 取值 效果
α=0 无平滑,出现零概率
α=1 拉普拉斯平滑,每个未观测取值分到很小但非零的概率
α 很小(如 0.01) 文本分类中常见,只补零不显著改变已观测词的相对大小

为什么 α 能小到 0.01。平滑本质是往”均匀分布”拉。α 越大,估计越接近均匀,越平滑也越钝;α 越小,越接近原始计数,越锐利也越容易过拟合。文本任务词表大、计数多,取 1 会把大量概率质量分给从未出现的词,所以原文示例里 alpha 取 0.01 这种量级。这个值应当用验证集调,而不是照抄。

边界。平滑只解决”数值上不能为 0”,不解决”这个词确实没信息”。若某词在某一类中从未出现且样本充足,平滑后它仍然只有极小的概率,几乎不影响判定——这正是想要的行为。另外,平滑对先验概率同样适用:某一类在训练集中一次都没出现时,P(Y=c_k) 也需要加平滑,否则整类直接出局。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯》4.2.4 拉普拉斯平滑(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html) - 结论依据:原文以"整个训练集都没出现过'机器学习'这个词"为例说明零概率会使整类概率恒为 0,并给出分子加 α、分母加 Kα 的平滑修正及 α=1 时称拉普拉斯平滑。 - 原始内容:如果整个训练集样本中都没有出现过“机器学习”这个词呢?那就相当于P(“机器学习”|“垃圾邮件”)=0,这样,不管样本xi中其他特征词在多少垃圾邮件中出现,最终……的值均为0,即该邮件在垃圾邮件这一类别下的概率始终都为0,这明显不合理。……当我们取α=1时,对应的平滑就称为“拉普拉斯平滑”。