知识卡片

索引粒度:精确度与存储空间的取舍

普通读书笔记卡 · 1225

内容

索引要记录到多细的位置精度是可自由选择的设计参数,从”只标记文本组”到”精确到每个单词”是一条连续谱系。粒度越粗,索引越小,但命中后要读出整段原文逐字确认,多词查询易错配;粒度越细能直接支持短语查询、无需读原文确认匹配,但索引体积膨胀2~3倍。经验结论:邻近查询若是少数情况,先用粗粒度(文档级)索引筛出候选,再对候选做一次扫描确认,通常更划算。

参考来源

- 位置:第3章《索引》3.1节「索引粒度」(源文件:_chapter-text/ch03.txt,对应_epub-src/OEBPS/text00009.html) - 结论依据:原文明确说明索引粒度是可自由选择的设计参数,细粒度支持短语查询但索引体积膨胀2~3倍,粗粒度省空间但多词查询易错配,直接支持卡片对粒度取舍的论述。 - 原始内容:"索引粒度是表示标识术语精确度的一个概念……粗粒度的索引需要很少的存储空间,但是检出更多的纯文本……使用粗粒度索引,在多术语查询的场合下更可能造成错配……增加这样精确的位置信息与文档级索引相比,增加至少2~3倍索引所需的存储空间。"