知识卡片
多项式与伯努利模型
为缓解词频被忽视的问题,常用多项式模型与伯努利模型(或混合模型)。二者最大区别是计算粒度:伯努利模型(文档模型)以文档为单位,统计某词出现在多少文档中,忽略出现次数,每个特征取0/1表示是否出现;多项式模型(词频模型)以词为单位,多次出现就重复计入。算后验概率时,多项式模型只让邮件中出现过的词参与,伯努利模型则连词汇库里出现但邮件中没有的词也参与,作为“反方”惩罚项。特性上,伯努利适合短文档、词汇少,多项式适合长文档、词汇多。用途是按文档长度和词频重要性选型;边界是粒度选择会改变先验与条件概率的算法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 垃圾邮件克星:朴素贝叶斯算法 6.4.2 多项式模型与伯努利模型 · 查看原书依据
两个模型最大的区别在于两者的计算粒度不一样,多项式模型以单词为粒度,伯努利模型以文档为粒度,因此二者的先验概率和条件概率的计算方法都不同。当计算后验概率时,在多项式模型中,只有在邮件中出现过的单词才会参与后验概率的计算
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第6章《垃圾邮件克星:朴素贝叶斯算法》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00011.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文指出“两个模型最大的区别在于两者的计算粒度不一样,多项式模型以“单词”为粒度,伯努利模型以“文档”为粒度”,并说明未出现的词在伯努利模型中“会被当作“反方”,作为一个惩罚项参与”,短文档用伯努利、长文档用多项式。
- 原始内容:两个模型最大的区别在于两者的计算粒度不一样,多项式模型以单词为粒度,伯努利模型以文档为粒度,因此二者的先验概率和条件概率的计算方法都不同。当计算后验概率时,在多项式模型中,只有在邮件中出现过的单词才会参与后验概率的计算