知识卡片

普通读书笔记卡 · 9825.b · 生成模型:DeepSeek-V4.1-Flash

条件独立假设换取可计算性

理解等级:中级

朴素贝叶斯的”朴素”就落在这条假设上:给定类别之后,样本的各个特征彼此独立。

为什么非假设不可。要算 P(X=x_i|Y=c_k),X 是一个 M 维向量,直接统计等于统计”这 M 个特征同时取这组值”的联合频率。若每个特征有 S 种取值,可能的组合是 S^M 个,训练集里几乎必然一个组合都没出现——参数数量随维度指数爆炸,样本永远不够。这不是精度问题,是无法估计。

假设带来什么。条件独立把联合条件概率拆成连乘:

P(X=x_i|Y=c_k) = P(x_i^(1)|Y=c_k) × P(x_i^(2)|Y=c_k) × … × P(x_i^(M)|Y=c_k)

于是要估计的参数从 S^M 个降到 K×M 个(K 为类别数),每个都能用”该类中包含该取值的样本数 / 该类样本数”数出来。计算上也随之简化:预测是一次连乘,搬到对数域后变成一次求和,这就是朴素贝叶斯速度快、能用于实时多分类预测的根源。

代价。现实中特征经常相关:”机器学习”和”系统课程”在不同邮件里常常同进同出。连乘会把同一份证据重复计入多次,概率被推向 0 或 1,因此输出的后验数值通常过度自信,不适合当置信度用。分类只看哪一类分子更大,这种系统性偏移如果在各类别上方向一致,不改变排序;但一旦不同类别的相关性结构差别很大,假设破得越厉害,判断就越可能出错。

实践边界。原文在注意点里给了应对方向:处理特征时尽量把高度相关的特征去掉,让输入尽量接近”彼此独立”的前提。另一个后果是模型非常稳定,方差已经很低,后面用 Bagging 或 Boosting 做集成基本没有提升空间。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯》4.2.1 朴素贝叶斯基本原理(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html) - 结论依据:原文把特征条件独立假设作为得到基本公式的最后一个环节,并在小结中承认该假设在现实中往往难以满足、建议先去相关特征。 - 原始内容:得到贝叶斯定理后,我们再考虑特征条件独立假设,即假设样本中各个特征之间是相互独立的,则我们可以将其展开为……最终,由贝叶斯定理和特征条件独立假设可以得到所求概率P(Y=ck|X=xi)的完整表达式为