知识卡片
朴素贝叶斯的调用要点
scikit-learn 里三个类对应三种形式:GaussianNB、MultinomialNB、BernoulliNB。它们的方法签名完全一致,换类只需换一行,所以选型只看特征类型(判断依据见[[三种形式按特征分布选型]])。
通用方法:
fit(X, y)训练;score(X, y)返回准确率;predict(X)返回标签;predict_proba(X)返回各类概率,predict_log_proba(X)返回对数概率;partial_fit(X, y)在数据量过大时把训练集切块,反复调用做增量训练——朴素贝叶斯是少数天然支持增量训练的模型(计数可累加)。
两个参数值得动:
| 参数 | 适用类 | 作用与调法 |
|---|---|---|
alpha |
多项式型、伯努利型 | 平滑因子,控制零概率修正的强度。文本任务常取 0.01 量级,具体值用验证集选。太大会把概率拉平、判断变钝 |
binarize |
伯努利型 | 阈值,大于它编为 1、小于编为 0。设为 None 表示数据已自行二值化 |
关于 binarize:原文的建议是先自己对不同特征做不同的二值化,再设 binarize=None 交给模型。理由很实在——统一阈值隐含”所有特征的量纲和分界点相同”,而现实中不同特征的有意义分界点往往不同,让模型用一个全局阈值切会把信息切碎。
关于 predict_log_proba:特征一多,概率连乘很快就下溢成 0。直接取对数概率、在加法域比较大小,是避免数值问题的常规做法,也与原文提到的”把乘法转换成加法,进一步加快速度”一致。
一个坑:GaussianNB 没有输入参数,但要求特征近似连续且类内近似正态;把 one-hot 或词频矩阵喂给它,不会报错,只会给出没有意义的结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 朴素贝叶斯 4.3 朴素贝叶斯的三种形式及scikit-learn实现 · 查看原书依据
当特征为非二值型时,可以为模型里面的参数binarize设置一个门限值来让模型自己将特征二值化,但实际上最好先自己对各个不同特征进行不同的二值化,然后再使用该模型。
参考来源
- 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯的三种形式及scikit-learn实现》4.3(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html)
- 结论依据:原文逐一列出三类模型的参数、属性与方法,指出高斯型无输入参数、多项式与伯努利型可设 alpha,并对 binarize 的自定义二值化给出建议。
- 原始内容:当特征为非二值型时,可以为模型里面的参数binarize设置一个门限值来让模型自己将特征二值化,但实际上最好先自己对各个不同特征进行不同的二值化,然后再使用该模型。