知识卡片
TF-IDF压制通用词
分词之后每个词都是一个特征,但词的权重不该相等。TF-IDF 用两个互补的量给词打分。
TF(词频):某个词在这篇文档中出现的次数 n_ij,除以这篇文档中所有词出现的总数。它回答”这个词对这篇文档有多重要”。频次越高越重要,这个直觉没问题。
IDF(逆文档频率):log(N/M),N 是文档总数,M 是包含该词的文档数。它回答”这个词在整个集合中有多少区分度”。一个词如果只在少数文档里出现,M 小、IDF 大;如果每篇都有,M 接近 N、IDF 接近 0。
为什么必须有 IDF。只看 TF 会犯一个明显的错:在中文里,”的”“是”在几乎每篇文档中词频都最高,但它们在分类上毫无价值。IDF 正是用来把这类”到处都高频”的词压下去。
原文给的两个对照很能说明问题:
| 词 | 类内分布 | TF | IDF | 结论 |
|---|---|---|---|---|
| 导弹 | 军事类高、经济文化类低 | 可能高 | 高 | 很好的类别特征 |
| 的 | 各类都极高 | 高 | 低 | 不该被特别对待 |
乘积的含义。TF 乘 IDF 等于取交集:既要在本文档里出现得多,又要在其他文档里出现得少。只满足一半的词都会被压分——只满足 TF 的是停用词,只满足 IDF 的是罕见噪声。
边界:
- IDF 依赖整个语料集合的统计。预测新文档时必须复用训练集算出的 IDF,不能在新文档上重算,否则同一套权重的含义就变了,训练与预测的特征不在同一个空间。
- TF-IDF 丢掉了词序和语义,同义词仍然各算各的。
- 文档极短时 TF 的估计噪声很大,短文本分类往往不如直接用出现与否(伯努利型)。
在 scikit-learn 里,CountVectorizer 负责产出词频矩阵(每行一篇文档、每列一个词),TfidfTransformer 负责把词频矩阵转成 TF-IDF。完整串联见[[中文文本分类流水线]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 朴素贝叶斯 4.4.2 项目过程 · 查看原书依据
实际上,IDF值反映的是一个词语普遍重要性的程度,即如果一个词语仅在某一些文档中出现得比较频繁,而在其他文档中出现得比较少,那我们就说该词具有较好的分类特征,应该受到更多的重视
参考来源
- 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯》4.4.2 项目过程(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html)
- 结论依据:原文分别定义 TF 与 IDF,用"导弹"与"的"两例说明 IDF 反映词语普遍重要性,并指出 TF-IDF 相当于取二者交集以反映分类特征。
- 原始内容:实际上,IDF值反映的是一个词语普遍重要性的程度,即如果一个词语仅在某一些文档中出现得比较频繁,而在其他文档中出现得比较少,那我们就说该词具有较好的分类特征,应该受到更多的重视