知识卡片
词袋与垃圾邮件三步分类
把朴素贝叶斯落到一封邮件上,只有三步。
第 1 步 分词与词袋。把每封训练邮件按词或短语切开,例如”我司开设机器学习系统课程,并可办理各种正规发票”切成”我司”“开设”“机器学习”“系统课程”“并可”“办理”“各种”“正规”“发票”。切好的词不分顺序、按类别混在一起堆成”词袋”。词袋模型是一个明确的取舍:丢掉词序和语法,只保留”出现了哪些词”。这让文本变成了可以计数的对象,代价是”狗咬人”和”人咬狗”在模型眼里一样。
第 2 步 统计类条件概率。对词袋里每个词 w、每个类别 c,估计
P(w|c) = N_kj / N_k
其中 N_k 是类别 c 的邮件总数,N_kj 是类别 c 中包含 w 的邮件数。注意这里是文档频次而不是词频——同一封邮件里”发票”出现十次也只算一次,这与多项式型按总词数计数是两种不同的口径(见[[三种形式按特征分布选型]])。
第 3 步 比较分子。新邮件”机器学习精英计划系统课程直播答疑”分词后,计算两个数:
- 0.3 × P(机器学习|垃圾) × P(精英计划|垃圾) × … × P(答疑|垃圾)
- 0.7 × P(机器学习|正常) × P(精英计划|正常) × … × P(答疑|正常)
分母对两类相同,直接丢掉(见[[贝叶斯定理由三步拼成]]),谁大判谁。
若某个词在垃圾邮件里从没出现过,第二步会给出 0,整条连乘立刻归零,结论完全由”没见过的词”决定——这是必须平滑的原因,见[[零概率与拉普拉斯平滑]]。
工程上通常还会在分词后去停用词,并用 TF-IDF 替代原始计数(见[[TF-IDF压制通用词]]),因为”的”“并可”这类词对区分垃圾邮件没有信息量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 朴素贝叶斯 4.2.2 原理的进一步阐述 · 查看原书依据
把训练集中的每一封邮件文本都以词或短语为单位进行切分(可以利用专门的分词工具,比如Python中自带的jieba分词)。
参考来源
- 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯》4.2.2 原理的进一步阐述(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html)
- 结论依据:原文以 10000 封邮件(3000 垃圾、7000 正常)为例,完整演示了分词、按类别统计词的条件概率、比较两类分子三步,并说明分母固定可不予考虑。
- 原始内容:把训练集中的每一封邮件文本都以词或短语为单位进行切分(可以利用专门的分词工具,比如Python中自带的jieba分词)。……分好的词按类别混合放在一起,我们称之为“词袋”。