知识卡片

普通读书笔记卡 · 9751.l · 生成模型:DeepSeek-V4.1-Flash

零概率与拉普拉斯平滑

理解等级:高级

零概率问题:若某个属性取值在某一类的训练样本中从未出现,它的条件概率估计为零。朴素贝叶斯要把所有条件概率连乘,一个零就让整个类的得分归零,无论其他属性多支持这个类。模型因此被一个没见过的取值彻底推翻,是过度拟合的极端形式。

拉普拉斯平滑(加一):假定每个取值都比实际多出现一次。分子加 1,分母加上该属性的取值个数,保证所有取值概率之和仍为 1。例如 100 位签约客户中 20 人单身、70 人已婚、10 人离异,单身概率原为 0.20,平滑后为 21/103,约 0.204。没出现过的取值也从 0 变成一个小正数。

副作用:取值很多时,加 1 会给大量不可见事件分走太多概率,稀释真实信号。改进办法是把 1 换成可调参数 ε,取值越小越接近原始估计。

实践提醒:主流软件包默认已含平滑;若自己实现,平滑与取对数必须一起做,否则仍会遇到对零取对数的问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 高级分析理论与方法:分类 · 查看原书依据

      如果一个属性值没有在训练集中的一个类标签中出现,那么相应的P {aj | ci }将等于零。当这种情况发生时,无论一些条件概率的值有多大,将所有的P (aj |ci )(j ∈[1,m ])相乘后,P {cj |A }的结果都会立即变为零,从而发生过度拟合。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_002.html) - 结论依据:7.2.3 节说明未出现的属性值会使条件概率为零并导致整体为零,介绍拉普拉斯加一平滑及其可能高估不可见事件的问题。 - 原始内容:如果一个属性值没有在训练集中的一个类标签中出现,那么相应的P {aj | ci }将等于零。当这种情况发生时,无论一些条件概率的值有多大,将所有的P (aj |ci )(j ∈[1,m ])相乘后,P {cj |A }的结果都会立即变为零,从而发生过度拟合。