知识卡片
从词到文档的查找链
查询的第一步不是读倒排表,而是加载词典:.tim 与 .tip 被读进内存,由 BlockTreeTermsReader 管理。这一步很耗时,所以 IndexSearcher 应当复用,反复新建等于反复把词典加载一遍,是常见的性能坑。
定位链条是:Term(词,索引里最小的存储与查询单元)→ TermsEnum(在有序词典中定位到该词,并支持「跳到下一个词」,前缀查询和范围扫描就靠它)→ 倒排表迭代器(按文档号递增顺序取出包含该词的文档)→ Scorer 打分。
两个结构选择决定效率。词典可以用哈希表,查得更快但浪费空间;也可以用排序数组等有序结构,省空间并能支持前缀与范围查询。倒排表内的文档号单调递增,多个词的倒排表求交时可以按文档号跳跃前进(跳表或跳跃指针),一次性跳过大量不可能命中的文档,而不是逐条比对。
工程含义很直接:词越具体,倒排表越短,查询越便宜;把 URL、订单号这类高基数字段当全文检索字段来用,等于为不需要的相关性付出存储与打分的代价。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 搜索引擎工具 · 查看原书依据
而完成加载的类叫作BlockTreeTermsReader,每次初始化IndexSearch都会将.tim和.tip加载到内存中,这些操作是很耗时的。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第10章 搜索引擎工具(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0135.html)
- 结论依据:原文说明词典文件在初始化搜索引擎时被整体载入内存且耗时,支撑「IndexSearcher 应复用、否则反复付加载成本」这一结论。
- 原始内容:而完成加载的类叫作BlockTreeTermsReader,每次初始化IndexSearch都会将.tim和.tip加载到内存中,这些操作是很耗时的。