← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9793.h · 生成模型:DeepSeek-V4.1-Flash

用得分上界跳过文档

理解等级:高级

即使采用 DAAT,一条很长的倒排链逐个走也够慢。WAND、MaxScore 的思路是先估上界再剪枝:每个词对相关性的贡献有上限,TF 归一化后(除以文档总词数)一个词在一篇文档里最多能占多大比例可以线下估出来,乘上固定的 IDF 就是该词的贡献上界;一篇文档的得分不会超过它命中的那些词的上界之和。把这个和与当前 Top-N 的最小分比较,低于阈值就整篇跳过,不再逐词打分。要保证结果和完全遍历一模一样,需要三个条件:上界必须是高估的;被跳过的文档上界确实低于阈值;进入 Top-N 的文档都完整打过分。三条都满足,剪枝只省计算、不改结果,所以这类方法叫精确剪枝。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 搜索引擎是什么玩意儿 · 查看原书依据

      知道了一个term的相关性上界值,就可以知道一个Query和一个文档的相关性上限值,就是他们共同term的相关性上限值的和,然后和一个阈值(一般是Top-N的最小值)比较,小于就跳过。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html) - 结论依据:原文这一段直接给出本卡的核心判断:「知道了一个term的相关性上界值,就可以知道一个Query和一个文档的相关性上限……」 - 原始内容:知道了一个term的相关性上界值,就可以知道一个Query和一个文档的相关性上限值,就是他们共同term的相关性上限值的和,然后和一个阈值(一般是Top-N的最小值)比较,小于就跳过。