知识卡片
条件独立假设换取可计算性
朴素贝叶斯的”朴素”就落在这条假设上:给定类别之后,样本的各个特征彼此独立。
为什么非假设不可。要算 P(X=x_i|Y=c_k),X 是一个 M 维向量,直接统计等于统计”这 M 个特征同时取这组值”的联合频率。若每个特征有 S 种取值,可能的组合是 S^M 个,训练集里几乎必然一个组合都没出现——参数数量随维度指数爆炸,样本永远不够。这不是精度问题,是无法估计。
假设带来什么。条件独立把联合条件概率拆成连乘:
P(X=x_i|Y=c_k) = P(x_i^(1)|Y=c_k) × P(x_i^(2)|Y=c_k) × … × P(x_i^(M)|Y=c_k)
于是要估计的参数从 S^M 个降到 K×M 个(K 为类别数),每个都能用”该类中包含该取值的样本数 / 该类样本数”数出来。计算上也随之简化:预测是一次连乘,搬到对数域后变成一次求和,这就是朴素贝叶斯速度快、能用于实时多分类预测的根源。
代价。现实中特征经常相关:”机器学习”和”系统课程”在不同邮件里常常同进同出。连乘会把同一份证据重复计入多次,概率被推向 0 或 1,因此输出的后验数值通常过度自信,不适合当置信度用。分类只看哪一类分子更大,这种系统性偏移如果在各类别上方向一致,不改变排序;但一旦不同类别的相关性结构差别很大,假设破得越厉害,判断就越可能出错。
实践边界。原文在注意点里给了应对方向:处理特征时尽量把高度相关的特征去掉,让输入尽量接近”彼此独立”的前提。另一个后果是模型非常稳定,方差已经很低,后面用 Bagging 或 Boosting 做集成基本没有提升空间。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 朴素贝叶斯 4.2.1 朴素贝叶斯基本原理 · 查看原书依据
得到贝叶斯定理后,我们再考虑特征条件独立假设,即假设样本中各个特征之间是相互独立的,则我们可以将其展开为