知识卡片

结构图卡 · 9818.c · 生成模型:DeepSeek-V4.1-Flash

一次查询走过的四个阶段

理解等级:中级

查询进来先做词法分析与语法分析:识别单词和关键字,按语法规则生成一棵语法树。然后是 Query 重写——把各种花样的查询改写成底层只认的 TermQuery,例如前缀查询 prefixquery 会被展开成多个 TermQuery;重写的好处是底层执行器只需要处理「精确词」这一种情况。重写后的 Query 生成 Weight,Weight 携带 IDF、queryNorm 等归一化信息,代表本次查询的权重方案;Weight 再对每个叶子段生成 Scorer,Scorer 沿倒排表逐个吐出文档号并打分;最后由 collect 收集,把命中文档放进结果容器(通常是堆)取 TopN。

反直觉的是,最慢的通常不是查词典,而是最后的打分与收集:命中几十万文档时,每个都要算分、比较、入堆。这也解释了为什么过滤条件比参与打分的查询条件便宜——过滤只判断「在不在」,不打分、结果可缓存。

打什么分由相似度模块决定:早期默认 TF-IDF,Lucene 6.0 起改用 BM25。BM25 把相关性当概率问题,给词频设了增长上限并对文档长度做平均,避免一个词重复几十次就把相关性拉满。

结构图:

flowchart TD
  A["查询串"] --> B["词法与语法分析:语法树"]
  B --> C["Query 重写:prefixquery → 多个 TermQuery"]
  C --> D["Weight:IDF、queryNorm 归一化"]
  D --> E["Scorer:Term→TermsEnum→倒排表"]
  E --> F["collect:逐文档打分,取 TopN"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第10章 搜索引擎工具(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0135.html) - 结论依据:原文描述了重写的目标与 prefixquery 的具体改写方式,支撑「查询先被归一化成 TermQuery 再交给底层执行」这一结论。 - 原始内容:Query生成Weight。首先Weight类会将Query重写。重写的目标是将Query组装成一个TermQuery。最典型的,prefixquery会被重写成多个TermQuery。