知识卡片

普通读书笔记卡 · 9751.j · 生成模型:DeepSeek-V4.1-Flash

朴素贝叶斯的独立假设

理解等级:高级

假设内容:给定类别标签,一个属性的出现与否与其他属性无关。形式上就是把 P(a1, a2, …, am | c) 直接拆成各 P(aj | c) 的连乘。

为什么必须这样假设:不假设独立,就要估计每个属性组合在每类下的联合概率。属性有 8 个、每个 3 种取值时,组合数已达六千多,训练集根本覆盖不了,绝大多数格子的计数为零。独立假设把需要估计的参数从组合数降到属性数乘取值数,这是朴素贝叶斯能在高维文本上工作的根本原因。

代价:真实数据里属性往往相关,例如颜色与重量、收入与信用。此时连乘会把同一份证据重复计入,概率被系统性放大。它可能仍把样本分到正确的类,但给出的概率值不可信,所以实践中只用它的标签,不用它的概率。

判断:属性近似独立(如文本中的词)时假设成立得好;属性高度相关时,应改用逻辑回归或树模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 高级分析理论与方法:分类 · 查看原书依据

      朴素贝叶斯分类器假设一个类的特定特征的存在与否和其他特征的存在与否是无关的。例如,一个对象可以基于它的属性来分类,例如形状、颜色和重量。一个合理的分类会认为一个球形、黄色且重量小于60克的对象可能是网球。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_002.html) - 结论依据:7.2.2 节把条件独立性假设列为朴素贝叶斯的第一项简化,说明它使联合概率可以拆成各属性条件概率的乘积。 - 原始内容:朴素贝叶斯分类器假设一个类的特定特征的存在与否和其他特征的存在与否是无关的。例如,一个对象可以基于它的属性来分类,例如形状、颜色和重量。一个合理的分类会认为一个球形、黄色且重量小于60克的对象可能是网球。