知识卡片
词频统计与条件判定
格雷厄姆的分类器先用正常邮件与垃圾邮件各4000封建立词汇库:一张表记录出现过的词,另一张统计词频。对词W(如“sex”),垃圾邮件中200/4000封包含→P(W|S)=5%,正常邮件中2/4000封包含→P(W|H)=0.05%;设先验P(S)=P(H)=50%,由条件概率算P(S|W),结果把原本50%的垃圾概率一下提升到99%,说明该词判别力很强。但仅凭一个词判断过于武断(正常邮件也可能含该词),于是取P(S|W)最高的15个词算联合概率,并设阈值0.9,高于阈值才判为垃圾邮件。用途是把单特征判别升级为多特征联合决策;边界是依赖词汇库的频率统计与合理阈值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 垃圾邮件克星:朴素贝叶斯算法 6.3.1 垃圾邮件的克星 · 查看原书依据
例如我们检测出在4000封垃圾邮件中有200封邮件中包含“sex”这个单词,则该单词在垃圾邮件中出现的概率是5%。而在4000封正常邮件中只有2封包含这个词,则该单词在正常邮件中出现的概率为0.05%。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第6章《垃圾邮件克星:朴素贝叶斯算法》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00011.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文给出统计实例:“在4000封垃圾邮件中有200封邮件中包含“sex”这个单词,则该单词在垃圾邮件中出现的概率是5%……在正常邮件中出现的概率为0.05%”,并说明取P(S|W)最高的15个词算联合概率、阈值设为0.9效果最佳。
- 原始内容:例如我们检测出在4000封垃圾邮件中有200封邮件中包含“sex”这个单词,则该单词在垃圾邮件中出现的概率是5%。而在4000封正常邮件中只有2封包含这个词,则该单词在正常邮件中出现的概率为0.05%。