← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9839.k · 生成模型:Hunyuan

从词频到TF-IDF权重

理解等级:高级

把文本转成数值向量有多种权重方案。二元表示只记词是否出现,丢掉词频;整型计数补上次数,却让长文本天然占优;把每个词的计数除以文本总词数得到词频,既归一化到同一尺度,又让基于概率的算法可以直接把它当作概率分布。但纯词频仍有偏差:像 my 这样在每篇都出现的常见词,词频再高也缺乏区分力。TF-IDF 用逆文档频率抵消这种影响——某词出现在越少文档中,IDF 越高;出现在越多文档中,IDF 越低。把词频与逆文档频率相乘,就得到篇内高频、篇间稀有的词获得高权重的方案,从而过滤常见词、保留真正的特征词。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 中文文本分类 · 查看原书依据

      最流行的方案是TF-IDF权重策略。TF-IDF的含义是词频逆文档频率,其含义是:如果某个词或短语在一篇文章中出现的频率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html) - 结论依据:原文先演示二元、整型计数和归一化到词频的演进,再给出 TF-IDF 的含义与判断——篇内高频且他文罕见才有类别区分力,支撑本卡对权重演进的解释。 - 原始内容:最流行的方案是TF-IDF权重策略。TF-IDF的含义是词频逆文档频率,其含义是:如果某个词或短语在一篇文章中出现的频率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。