知识卡片
权重平移会改变词项贡献
本书IDF用1+log(N/df),使出现在所有文档的词仍有IDF=1;未平移版本则为0。加1会改变各查询词对总分的相对贡献,不只是打印格式。它是权重设计的选择,不是为了避免两个小于1的正数相乘就必须做的数学修复;归一化TF非负,原代码注释写成小于0有误。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
额外加了1.0,这样是为了便于演示,因为我们处理的文档集过于简单了。不在计算中加上1.0,idf函数可能会返回小于1.0的值,这会导致在TF-IDF计算中要进行相乘的两个因子都是小于1.0的分数。这样两个因子的乘法结果比它们本身还要小,所以它其实是TF-IDF计算中容易被忽视的边缘情况。这里的调整是呼应了TF-IDF计算的初衷:希望将两项相乘之后,能够将相关
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.3 TF-IDF》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u062-ch04-015)。
- 结论依据:原文在“额外加了1.0”附近的定义、例子或代码支撑本卡核心说明:本书IDF用1+log(N/df),使出现在所有文档的词仍有IDF=1;未平移版本则为0。边界按已读前提解释;示例未执行。
- 原始内容:额外加了1.0,这样是为了便于演示,因为我们处理的文档集过于简单了。不在计算中加上1.0,idf函数可能会返回小于1.0的值,这会导致在TF-IDF计算中要进行相乘的两个因子都是小于1.0的分数。这样两个因子的乘法结果比它们本身还要小,所以它其实是TF-IDF计算中容易被忽视的边缘情况。这里的调整是呼应了TF-IDF计算的初衷:希望将两项相乘之后,能够将相关