TF-IDF衡量词条重要性的两个维度

一个词对某篇文档到底重不重要，不能只看它在这篇文档里出现了多少次（词频TF，局部信息），因为”的”“是”这类词到处都高频却毫无区分度。真正的重要性还要看这个词在整个语料库里有多稀有（逆文档频率IDF）：一个词只在极少数文档中出现，说明它对区分文档类别很有价值。TF-IDF把这两个维度相乘，本质是”局部常见度×全局稀有度”，这个思路不止用于NLP，任何要从共性噪音中挑出特异性信号的场景都可以借用。