知识卡片

普通读书笔记卡 · 9771.c · 生成模型:DeepSeek-V4.1-Flash

拉普拉斯平滑避免一票否决

理解等级:高级

如果 data 这个词只在正常邮件里出现,最大似然估计会给出 P(data|垃圾)=0。连乘(或对数相加)中只要出现一个零,整封邮件为垃圾的概率就被钉死为 0,即使它同时写着“免费比特币”和“正品劳力士”。一个词的缺失否决了其余全部证据,这在小语料上尤其致命,因为绝大多数词都会遇到零频。

平滑的做法是给每种结果加伪计数 k:分子为“出现次数 + k”,分母为“该类邮件数 + 2k”,加 2k 是因为每个词只有出现与不出现两种结局,两边各补 k。例如 data 在 98 封垃圾中出现 0 次、k=1,则估计为 1⁄100=0.01,不再是 0。k 越大,估计越被拉向 0.5,模型越保守、越不容易被单个词左右;k 越小,平滑越弱、越贴近原始频率。代价是所有估计都被系统性地推向中间,词表很大时这种偏移会累积,所以 k 通常取小于 1 的值,实现里默认 0.5。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 朴素贝叶斯算法 · 查看原书依据

      比如,如果 data 一词在 98 封垃圾邮件中出现了 0 次,且 取值为 1,则我们算出结果为 1/100 = 0.01,这样分类器就能给那些含有单词 data 的邮件为垃圾邮件的概率赋予非零值。

    参考来源

    - 位置:《数据科学入门(第2版)》第13章 朴素贝叶斯算法(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0017.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「比如,如果 data 一词在 98 封垃圾邮件中出现了 0 次,且 取值为 1,……」 - 原始内容:比如,如果 data 一词在 98 封垃圾邮件中出现了 0 次,且 取值为 1,则我们算出结果为 1/100 = 0.01,这样分类器就能给那些含有单词 data 的邮件为垃圾邮件的概率赋予非零值。