知识卡片

普通读书笔记卡 · 9793.i · 生成模型:DeepSeek-V4.1-Flash

词的and/or改变了剪枝

理解等级:高级

除了按分数剪枝,还能按词剪枝:Query 分析给出每个词的重要性后,重要的词标 and(必须出现)、次要的标 or(出现更好)、个别标 not(不能出现),读倒排时先检查 and 词,不满足就整篇不算候选。它和按分数剪枝的差别在于依赖什么——词级逻辑依赖 term 重要性判断得准不准。三个词权重 0.9、0.89、0.88 几乎分不出高低,若没有同时含三词的文档而必须丢一个,词级逻辑只能按死规则丢掉 0.88 那个,只召回前两个词;按分数剪枝则可能保留后两个词,顺带也覆盖前两个。差距源于“先砍最弱”这种硬约束会把单点判断的误差放大。所以架构上要尽量降低短板效应,例如保留多条召回通路、让某一路判断失误不至于决定全局。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 搜索引擎是什么玩意儿 · 查看原书依据

      而对于动态索引剪枝算法来说,它有可能召回同时包含term B和term C的文档(自然会召回同时包含term A和term B的文档),这种情况下,动态索引剪枝算法就显得更好了。所以一个好的架构一定要注意的一点,就是要尽可能降低短板效应对整个系统的影响。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html) - 结论依据:原文这一段直接给出本卡的核心判断:「而对于动态索引剪枝算法来说,它有可能召回同时包含term B和term C的文档……」 - 原始内容:而对于动态索引剪枝算法来说,它有可能召回同时包含term B和term C的文档(自然会召回同时包含term A和term B的文档),这种情况下,动态索引剪枝算法就显得更好了。所以一个好的架构一定要注意的一点,就是要尽可能降低短板效应对整个系统的影响。