知识卡片

普通读书笔记卡 · 9445.m · 生成模型:Tencent Hunyuan Hy

拉普拉斯平滑去零概率

理解等级:中级

朴素贝叶斯对数据稀疏过于敏感:若新邮件出现一个词汇库里没有的词,按模型计算它出现在任何邮件的概率都是0,导致联合概率整体为0,于是判定这封邮件百分之百不是垃圾邮件——这显然不合理,不能因一个没见过的词就彻底否定。为此法国数学家拉普拉斯提出“加1”法估计未出现词的概率,即加法平滑(拉普拉斯平滑):对每个类别下所有划分的计数都“+1”。因为各划分都加同样的1,不改变相对大小,却消除了联合概率为零的问题。用途是提升模型对未知词的鲁棒性;边界是平滑强度(加几)在极端稀疏时仍需调节。启发:很多棘手问题用简单调整即可解决。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第6章《垃圾邮件克星:朴素贝叶斯算法》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00011.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文说明问题根源:“出现了一个词汇库中不存在的单词……会认为这个词在任何一封邮件中出现的概率都为0,所以最后计算联合概率时结果也为0”,并给出拉普拉斯“加1”平滑“对每个类别下所有划分的计数“+1”……解决了上述联合概率为零的问题”。 - 原始内容:为了解决零概率的问题,法国数学家拉普拉斯最早提出用“加1”的方法估计没有出现过的单词的概率,所以加法平滑也叫拉普拉斯平滑,是比较常用的平滑方法。它的解决思路非常简单,就是对每个类别下所有划分的计数“+1”