知识卡片
三种形式按特征分布选型
朴素贝叶斯的三种变体,差别不在”贝叶斯”,而在给类条件概率 P(X|Y) 假定什么分布。框架完全相同:仍假设条件独立、仍用先验推后验、仍取最大后验。
| 形式 | 对 P(X|Y) 的假定 | 特征要求 | 典型用途 |
|---|---|---|---|
| 高斯型 | 每个特征在类内服从正态分布,用类内均值 μ_k 与标准差 σ_k 描述 | 连续取值 | 测量值类特征,如长度、金额 |
| 多项式型 | 多项式分布,按特征各取值的计数建模 | 离散 | 文本词频、出现次数 |
| 伯努利型 | 二项分布,每个特征只有 0/1 两种取值 | 二值 | 词是否出现、有无某属性 |
怎么选。先看特征本身是什么,而不是看哪种效果好:连续值硬套多项式要先离散化,分箱位置会变成额外的人工假设;0/1 特征用多项式则丢掉了”未出现”这一侧的信息——多项式只看出现词的计数,伯努利会连”这个词没出现”也计入似然。原文对此的表述很直接:多项式型只适用于特征离散的情况,伯努利型更进一步只能是 0 或 1。
三种形式的实际差别:
- 高斯型没有需要调的输入参数,均值方差都由训练集直接算出;
- 多项式型和伯努利型都有平滑因子 alpha,且文本任务里几乎一定要调;
- 伯努利型多一个 binarize 阈值,可让模型自行把连续特征二值化。
一个常被忽略的点。同一份文本数据,多项式型与伯努利型给出的常常不是同一套结论:短文本、词出现与否比出现几次更重要时,伯努利往往更稳;长文档、重复出现确实代表强度时,多项式更合适。这不是”哪个更先进”,而是”你假设数据是怎么产生的”。
具体调用要点见[[朴素贝叶斯的调用要点]],中文文本上的完整落地见[[中文文本分类流水线]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 朴素贝叶斯 4.3 朴素贝叶斯的三种形式及scikit-learn实现 · 查看原书依据
另外两种形式的基本原理总体来讲基本一致,即都需要假设特征条件独立,然后利用先验概率去预测后验概率,其区别主要是假设
参考来源
- 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯的三种形式及scikit-learn实现》4.3(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html)
- 结论依据:原文明确指出三种形式原理一致、区别仅在假设特征服从不同分布,并分别限定多项式型只适用离散特征、伯努利型只能用于 0/1 特征。
- 原始内容:朴素贝叶斯有三种形式,即高斯型、多项式型、伯努利型。……另外两种形式的基本原理总体来讲基本一致,即都需要假设特征条件独立,然后利用先验概率去预测后验概率,其区别主要是假设……具有不同分布