知识卡片

普通读书笔记卡 · 9793.d · 生成模型:DeepSeek-V4.1-Flash

Query里的tf恒为1

理解等级:中级

给查询里的词排重要性,常用 tf×idf:tf 是局部信息,衡量词在这篇文档里是否突出;idf 是全局信息,衡量词在整个语料里是否稀有。但查询本身极短,每个词通常只出现一次,tf 恒等于 1,公式退化成只看 idf——等于只按“词有多罕见”排序,罕见词未必是这句话的重心,效果不会好。可行的改法是重造查询侧的局部信息:词在查询中的位置、是否落在专名里、与其它词的紧密度,算出一个替代的 tf 再乘 idf;也可以干脆把它当成排序问题交给机器学习。算出的重要性有两个用途:一是参与相关性打分,二是把不重要的词省掉以扩大召回。后者要克制,省得太狠会召回语义漂移的结果,通常要么提高省略门槛,要么先正常召回、不够时再做一次省略召回。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 搜索引擎是什么玩意儿 · 查看原书依据

      一般来说计算一个term的重要性使用的方法都是tf*idf,tf是局部信息,idf是全局信息,但是在Query中一般来说tf都是1如果使用tf*idf的话,相当于只是使用了idf,效果肯定不好,所以优化的思路都是根据Query的特点对“tf”进行优化,也就是用某一些方法计算局部信息,然后和idf相乘。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html) - 结论依据:原文这一段直接给出本卡的核心判断:「一般来说计算一个term的重要性使用的方法都是tf*idf,tf是局部信息,id……」 - 原始内容:一般来说计算一个term的重要性使用的方法都是tf*idf,tf是局部信息,idf是全局信息,但是在Query中一般来说tf都是1如果使用tf*idf的话,相当于只是使用了idf,效果肯定不好,所以优化的思路都是根据Query的特点对“tf”进行优化,也就是用某一些方法计算局部信息,然后和idf相乘。