← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9771.a · 生成模型:DeepSeek-V4.1-Flash

朴素假设:单词在类内相互独立

理解等级:高级

要算 P(整封邮件|垃圾),严格来说需要所有词同时出现与同时不出现的联合概率。词表稍大,几乎每个组合在训练集里都没出现过,参数数量随词数指数增长,根本无法估计。朴素贝叶斯在此处切断依赖:假定在“是垃圾”或“不是垃圾”给定的条件下,每个词是否出现与其他词无关,于是联合概率等于各词边缘概率的乘积。要估计的参数从指数级降到每个词两个。

这个假设明显与事实不符。书中的反例是:垃圾邮件一半推销比特币、一半推销劳力士,现实中两个词几乎不同时出现,模型却会算出两者同时出现约等于两个边缘概率之积,凭空造出一批不存在的邮件。它仍然有用,是因为分类只需要比较两类得分的相对大小,不需要概率值本身准确;而每个词的证据方向大体可靠,乘起来的方向也就大体可靠。代价是输出的概率严重失真,不能当作真实置信度使用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学入门(第2版)》第13章 朴素贝叶斯算法(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0017.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「朴素贝叶斯算法的关键在于做出一个(大的)假设:给定邮件是或不是垃圾邮件的条件下,……」 - 原始内容:朴素贝叶斯算法的关键在于做出一个(大的)假设:给定邮件是或不是垃圾邮件的条件下,每个单词是否存在与其他单词无关。