知识卡片
Query里的tf恒为1
给查询里的词排重要性,常用 tf×idf:tf 是局部信息,衡量词在这篇文档里是否突出;idf 是全局信息,衡量词在整个语料里是否稀有。但查询本身极短,每个词通常只出现一次,tf 恒等于 1,公式退化成只看 idf——等于只按“词有多罕见”排序,罕见词未必是这句话的重心,效果不会好。可行的改法是重造查询侧的局部信息:词在查询中的位置、是否落在专名里、与其它词的紧密度,算出一个替代的 tf 再乘 idf;也可以干脆把它当成排序问题交给机器学习。算出的重要性有两个用途:一是参与相关性打分,二是把不重要的词省掉以扩大召回。后者要克制,省得太狠会召回语义漂移的结果,通常要么提高省略门槛,要么先正常召回、不够时再做一次省略召回。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 搜索引擎是什么玩意儿 · 查看原书依据
一般来说计算一个term的重要性使用的方法都是tf*idf,tf是局部信息,idf是全局信息,但是在Query中一般来说tf都是1如果使用tf*idf的话,相当于只是使用了idf,效果肯定不好,所以优化的思路都是根据Query的特点对“tf”进行优化,也就是用某一些方法计算局部信息,然后和idf相乘。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「一般来说计算一个term的重要性使用的方法都是tf*idf,tf是局部信息,id……」
- 原始内容:一般来说计算一个term的重要性使用的方法都是tf*idf,tf是局部信息,idf是全局信息,但是在Query中一般来说tf都是1如果使用tf*idf的话,相当于只是使用了idf,效果肯定不好,所以优化的思路都是根据Query的特点对“tf”进行优化,也就是用某一些方法计算局部信息,然后和idf相乘。