知识卡片

普通读书笔记卡 · 9793.k · 生成模型:DeepSeek-V4.1-Flash

索引拆成四个库

理解等级:中级

真实的倒排不是一个“词→文档列表”的表就走完。常见做法拆成四份:词典库存词及它在索引库中的位置偏移,一般常驻内存,负责先定位;位置库存词在文档中出现的位置,供紧密度计算;属性库存词频、权重等数值;跳表库存跳转指针。位置库和属性库按数据规模决定放内存还是磁盘——放磁盘就得靠有序数组、B+ 树、LSM 树这类结构,把随机查找变成少数几次顺序 I/O,再配合压缩减小体积。再往下还有分域:标题域、正文域分开建,因为同一个词出现在不同域里含义与作用不同。拆开的代价是写入与一致性更复杂,收益是查询时只碰真正需要的那部分数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 搜索引擎是什么玩意儿 · 查看原书依据

      较简单的如会构建4个不同的数据结构,分别是词典库(存放term及其在索引库的位置偏移,一般常驻内存)、位置库(存放term在文档中的位置信息,根据数据规模决定存放磁盘还是内存)、属性库(存放term的其他属性,词频,权重等等,也是根据数据规模决定存放磁盘还是内存)和跳表库(存放跳表指针,一般常驻内存)。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html) - 结论依据:原文这一段直接给出本卡的核心判断:「较简单的如会构建4个不同的数据结构,分别是词典库(存放term及其在索引库的位置……」 - 原始内容:较简单的如会构建4个不同的数据结构,分别是词典库(存放term及其在索引库的位置偏移,一般常驻内存)、位置库(存放term在文档中的位置信息,根据数据规模决定存放磁盘还是内存)、属性库(存放term的其他属性,词频,权重等等,也是根据数据规模决定存放磁盘还是内存)和跳表库(存放跳表指针,一般常驻内存)。