知识卡片

普通读书笔记卡 · 9771.f · 生成模型:DeepSeek-V4.1-Flash

主题行过滤器的实测与改进

理解等级:中级

在 SpamAssassin 语料上只取主题行、按 75⁄25 切分,模型给出 84 个真阳、25 个假阳、703 个真阴、44 个假阴,精确率约 77%、召回率约 66%。这组数字的意义是校准预期:一个只有几百行代码、只用了主题行的分类器已经可用,但仍会误伤约四分之一被判为垃圾的邮件。

改进的杠杆几乎都在特征侧。可以读正文而不只看主题,但要处理好邮件头等噪声;可以设 min_count 忽略只出现一两次的词,减少偶然词带来的噪声;可以用词干化把 cheap 与 cheapest 归为一类,简单去掉词尾 s 远不够,通常要用 Porter stemmer;还可以加入“含数字”这类伪标记,把非单词信息变成特征。共同点是:在朴素贝叶斯上换特征的收益,通常大于在模型内部做微调。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 朴素贝叶斯算法 · 查看原书依据

      这意味着模型精确率是 84/(84 + 25) ≈ 77%,召回率是 84/(84 + 44) ≈ 66%,这对于这样一个简单的模型来说也不算差。如果我们看的不只是主题行,可能会做得更好。

    参考来源

    - 位置:《数据科学入门(第2版)》第13章 朴素贝叶斯算法(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0017.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「这意味着模型精确率是 84/(84 + 25) ≈ 77%,召回率是 84/(8……」 - 原始内容:这意味着模型精确率是 84/(84 + 25) ≈ 77%,召回率是 84/(84 + 44) ≈ 66%,这对于这样一个简单的模型来说也不算差。如果我们看的不只是主题行,可能会做得更好。