知识卡片

普通读书笔记卡 · 6264.d

权重平移会改变词项贡献

理解等级:中级

本书IDF用1+log(N/df),使出现在所有文档的词仍有IDF=1;未平移版本则为0。加1会改变各查询词对总分的相对贡献,不只是打印格式。它是权重设计的选择,不是为了避免两个小于1的正数相乘就必须做的数学修复;归一化TF非负,原代码注释写成小于0有误。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      额外加了1.0,这样是为了便于演示,因为我们处理的文档集过于简单了。不在计算中加上1.0,idf函数可能会返回小于1.0的值,这会导致在TF-IDF计算中要进行相乘的两个因子都是小于1.0的分数。这样两个因子的乘法结果比它们本身还要小,所以它其实是TF-IDF计算中容易被忽视的边缘情况。这里的调整是呼应了TF-IDF计算的初衷:希望将两项相乘之后,能够将相关

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.3 TF-IDF》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u062-ch04-015)。 - 结论依据:原文在“额外加了1.0”附近的定义、例子或代码支撑本卡核心说明:本书IDF用1+log(N/df),使出现在所有文档的词仍有IDF=1;未平移版本则为0。边界按已读前提解释;示例未执行。 - 原始内容:额外加了1.0,这样是为了便于演示,因为我们处理的文档集过于简单了。不在计算中加上1.0,idf函数可能会返回小于1.0的值,这会导致在TF-IDF计算中要进行相乘的两个因子都是小于1.0的分数。这样两个因子的乘法结果比它们本身还要小,所以它其实是TF-IDF计算中容易被忽视的边缘情况。这里的调整是呼应了TF-IDF计算的初衷:希望将两项相乘之后,能够将相关