知识卡片
拉普拉斯平滑避免一票否决
如果 data 这个词只在正常邮件里出现,最大似然估计会给出 P(data|垃圾)=0。连乘(或对数相加)中只要出现一个零,整封邮件为垃圾的概率就被钉死为 0,即使它同时写着“免费比特币”和“正品劳力士”。一个词的缺失否决了其余全部证据,这在小语料上尤其致命,因为绝大多数词都会遇到零频。
平滑的做法是给每种结果加伪计数 k:分子为“出现次数 + k”,分母为“该类邮件数 + 2k”,加 2k 是因为每个词只有出现与不出现两种结局,两边各补 k。例如 data 在 98 封垃圾中出现 0 次、k=1,则估计为 1⁄100=0.01,不再是 0。k 越大,估计越被拉向 0.5,模型越保守、越不容易被单个词左右;k 越小,平滑越弱、越贴近原始频率。代价是所有估计都被系统性地推向中间,词表很大时这种偏移会累积,所以 k 通常取小于 1 的值,实现里默认 0.5。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 朴素贝叶斯算法 · 查看原书依据
比如,如果 data 一词在 98 封垃圾邮件中出现了 0 次,且 取值为 1,则我们算出结果为 1/100 = 0.01,这样分类器就能给那些含有单词 data 的邮件为垃圾邮件的概率赋予非零值。
参考来源
- 位置:《数据科学入门(第2版)》第13章 朴素贝叶斯算法(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0017.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「比如,如果 data 一词在 98 封垃圾邮件中出现了 0 次,且 取值为 1,……」
- 原始内容:比如,如果 data 一词在 98 封垃圾邮件中出现了 0 次,且 取值为 1,则我们算出结果为 1/100 = 0.01,这样分类器就能给那些含有单词 data 的邮件为垃圾邮件的概率赋予非零值。