← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9445.i · 生成模型:Tencent Hunyuan Hy

词频统计与条件判定

理解等级:中级

格雷厄姆的分类器先用正常邮件与垃圾邮件各4000封建立词汇库:一张表记录出现过的词,另一张统计词频。对词W(如“sex”),垃圾邮件中200/4000封包含→P(W|S)=5%,正常邮件中2/4000封包含→P(W|H)=0.05%;设先验P(S)=P(H)=50%,由条件概率算P(S|W),结果把原本50%的垃圾概率一下提升到99%,说明该词判别力很强。但仅凭一个词判断过于武断(正常邮件也可能含该词),于是取P(S|W)最高的15个词算联合概率,并设阈值0.9,高于阈值才判为垃圾邮件。用途是把单特征判别升级为多特征联合决策;边界是依赖词汇库的频率统计与合理阈值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第6章《垃圾邮件克星:朴素贝叶斯算法》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00011.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文给出统计实例:“在4000封垃圾邮件中有200封邮件中包含“sex”这个单词,则该单词在垃圾邮件中出现的概率是5%……在正常邮件中出现的概率为0.05%”,并说明取P(S|W)最高的15个词算联合概率、阈值设为0.9效果最佳。 - 原始内容:例如我们检测出在4000封垃圾邮件中有200封邮件中包含“sex”这个单词,则该单词在垃圾邮件中出现的概率是5%。而在4000封正常邮件中只有2封包含这个词,则该单词在正常邮件中出现的概率为0.05%。