知识卡片

普通读书笔记卡 · 9825.f · 生成模型:DeepSeek-V4.1-Flash

三种形式按特征分布选型

理解等级:中级

朴素贝叶斯的三种变体,差别不在”贝叶斯”,而在给类条件概率 P(X|Y) 假定什么分布。框架完全相同:仍假设条件独立、仍用先验推后验、仍取最大后验。

形式 对 P(X|Y) 的假定 特征要求 典型用途
高斯型 每个特征在类内服从正态分布,用类内均值 μ_k 与标准差 σ_k 描述 连续取值 测量值类特征,如长度、金额
多项式型 多项式分布,按特征各取值的计数建模 离散 文本词频、出现次数
伯努利型 二项分布,每个特征只有 0/1 两种取值 二值 词是否出现、有无某属性

怎么选。先看特征本身是什么,而不是看哪种效果好:连续值硬套多项式要先离散化,分箱位置会变成额外的人工假设;0/1 特征用多项式则丢掉了”未出现”这一侧的信息——多项式只看出现词的计数,伯努利会连”这个词没出现”也计入似然。原文对此的表述很直接:多项式型只适用于特征离散的情况,伯努利型更进一步只能是 0 或 1。

三种形式的实际差别:

  • 高斯型没有需要调的输入参数,均值方差都由训练集直接算出;
  • 多项式型和伯努利型都有平滑因子 alpha,且文本任务里几乎一定要调;
  • 伯努利型多一个 binarize 阈值,可让模型自行把连续特征二值化。

一个常被忽略的点。同一份文本数据,多项式型与伯努利型给出的常常不是同一套结论:短文本、词出现与否比出现几次更重要时,伯努利往往更稳;长文档、重复出现确实代表强度时,多项式更合适。这不是”哪个更先进”,而是”你假设数据是怎么产生的”。

具体调用要点见[[朴素贝叶斯的调用要点]],中文文本上的完整落地见[[中文文本分类流水线]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯的三种形式及scikit-learn实现》4.3(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html) - 结论依据:原文明确指出三种形式原理一致、区别仅在假设特征服从不同分布,并分别限定多项式型只适用离散特征、伯努利型只能用于 0/1 特征。 - 原始内容:朴素贝叶斯有三种形式,即高斯型、多项式型、伯努利型。……另外两种形式的基本原理总体来讲基本一致,即都需要假设特征条件独立,然后利用先验概率去预测后验概率,其区别主要是假设……具有不同分布