知识卡片
TF-IDF:词频与文档频率的两条单调性原则
内容
简单坐标匹配不区分词出现1次还是10次,不区分常见词和罕见词的信息量差异,且偏袒长文档。TF-IDF用两个因子修正:词频(TF)让出现次数更多的词贡献更大权重,但用递减函数处理;逆文档频率(IDF)惩罚在很多文档里都出现的词,只有出现在少数文档的词才真正传递区分信号。关键结论:具体公式没有哪种组合全面胜出,唯一稳定的是两条单调性原则——出现文档越多权重不应更高,包含查询词越多排名不应更低。
参考来源
- 位置:第4章《查询》「术语权重」小节(源文件:_chapter-text/ch04.txt)
- 结论依据:原文明确给出TF-IDF公式两条单调性限制:词频权重是单调增函数,文档频率权重是单调减函数,且强调所有公式变体都遵循这两条限制,直接支持卡片论点。
- 原始内容:"所有这些公式都遵循这样两条简单的单调性限制……为单调增函数,而术语文档频率……为单调减函数……术语在某一篇文档中出现次数越多,那么……术语出现在越多的文档中,那么……就应该越低。"