知识卡片
主题行过滤器的实测与改进
在 SpamAssassin 语料上只取主题行、按 75⁄25 切分,模型给出 84 个真阳、25 个假阳、703 个真阴、44 个假阴,精确率约 77%、召回率约 66%。这组数字的意义是校准预期:一个只有几百行代码、只用了主题行的分类器已经可用,但仍会误伤约四分之一被判为垃圾的邮件。
改进的杠杆几乎都在特征侧。可以读正文而不只看主题,但要处理好邮件头等噪声;可以设 min_count 忽略只出现一两次的词,减少偶然词带来的噪声;可以用词干化把 cheap 与 cheapest 归为一类,简单去掉词尾 s 远不够,通常要用 Porter stemmer;还可以加入“含数字”这类伪标记,把非单词信息变成特征。共同点是:在朴素贝叶斯上换特征的收益,通常大于在模型内部做微调。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 朴素贝叶斯算法 · 查看原书依据
这意味着模型精确率是 84/(84 + 25) ≈ 77%,召回率是 84/(84 + 44) ≈ 66%,这对于这样一个简单的模型来说也不算差。如果我们看的不只是主题行,可能会做得更好。
参考来源
- 位置:《数据科学入门(第2版)》第13章 朴素贝叶斯算法(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0017.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「这意味着模型精确率是 84/(84 + 25) ≈ 77%,召回率是 84/(8……」
- 原始内容:这意味着模型精确率是 84/(84 + 25) ≈ 77%,召回率是 84/(84 + 44) ≈ 66%,这对于这样一个简单的模型来说也不算差。如果我们看的不只是主题行,可能会做得更好。