知识卡片

普通读书笔记卡 · 9839.p · 生成模型:Hunyuan

TF-IDF改进朴素贝叶斯

理解等级:中级

基础版朴素贝叶斯用普通词频向量,会受到句长和常见词的双重偏差。改进办法是改用 TF-IDF 生成向量空间:先统计词在文本中的出现次数并除以文本词数,消除不同句长导致的偏差;再用总文档数除以包含该词的文档数并取对数得到逆文档频率,压低到处都出现的常见词;最后按词频乘逆文档频率逐维相乘。这样,既在长文本中频繁、又只在少数文档出现的词获得高权重,分类器据此修正多种偏差。可见特征权重的选取与分类算法本身同样重要:同一套朴素贝叶斯公式,换用更合理的输入表示,分类质量就能提升,不必改动概率推导。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html) - 结论依据:原文明确指出该改进是为普通词频向量使用 TF-IDF 策略以修正多种偏差,并在代码中先按文本词长归一化再乘 IDF,支撑本卡对改进机理的说明。 - 原始内容:此算法的改进是为普通的词频向量使用TF-IDF策略,使之有能力修正多种偏差。 calc_tfidf函数:以TF-IDF方式生成向量空间。