知识卡片
用IDF压住常见词
TF-IDF 的权重由两部分相乘:tf 表示词在本文档中的活跃度,idf 表示词在整个语料中的稀缺度。原始词频偏向长文档(文档越长,任何词出现的次数都可能更多),所以先做长度归一化:tf_norm = n_ij / Σ_k n_kj,n_ij 是词 i 在文档 j 中的次数,分母是文档 j 中所有词次数之和。idf 常用 idf_i = log(N / (1 + df_i)),N 是文档总数,df_i 是包含词 i 的文档数;分母加 1 是拉普拉斯平滑,避免未登录词让分母为 0。于是 w_ij = tf_norm × idf_i。取对数是因为区分度的边际收益递减:df 从 1 涨到 2 很重要,从 5000 涨到 5001 几乎无差别。效果上,“的”“是”这类几乎出现在所有文档里的词 idf 接近 0,几乎不贡献分数;只在少数文档出现的专业词 idf 高,一旦命中就有强区分力。边界是:idf 依赖语料库,换领域后词的稀缺度会变;该权重也忽略词的位置和同义关系。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 搜索系统中的主要算法 · 查看原书依据
最常用的权重计算方法是TF-IDF。TF(Term Frequency)是标引项在文档中出现的次数。标引项的文档频率(Document Frequency,DF)指标引项出现在整个文档集合中的篇数,反映了标引项的区分度。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0071.html)
- 结论依据:原文定义了 TF 与 DF,并指出 DF 反映区分度、DF 越高权重越低,这正是 IDF 取倒数并取对数的依据。
- 原始内容:最常用的权重计算方法是TF-IDF。TF(Term Frequency)是标引项在文档中出现的次数。标引项的文档频率(Document Frequency,DF)指标引项出现在整个文档集合中的篇数,反映了标引项的区分度。