知识卡片
TF-IDF与向量空间
全文检索的难点是给结果排序。词的权重由词频和文档频率决定:词在本文中出现越多权重越高;包含该词的文档越多、区分度越低,权重越低。把文档和查询都表示成由词权重组成的向量,用两向量夹角的余弦值衡量相关性,这就是向量空间模型。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第5章《大数据技术介绍》"5.1.4 全文检索"之"Lucene"(源文件:_epub-src/OEBPS/text00071.html)
- 结论依据:原文说明"Term Frequency(tf):即此Term在此文档中出现了多少次。tf越大说明越重要……Document Frequency(df):即有多少文档包含此Term。df越大说明越不重要""我们认为两个向量之间的夹角越小,相关性越大。所以我们计算夹角的余弦值作为相关性的打分",直接支撑本卡结论。
- 原始内容:Term Frequency(tf):即此Term在此文档中出现了多少次。tf越大说明越重要……Document Frequency(df):即有多少文档包含此Term。df越大说明越不重要……我们认为两个向量之间的夹角越小,相关性越大