知识卡片
建索引的四步流水线
建索引可以拆成四步。①添加文档:遍历待索引文件,构造 Document 与 Field,交给默认索引链 DefaultIndexingChain;②构建正排表:保存原始字段值,用于排序、聚合和结果展示,用差值存储与压缩算法压低体积;③构建倒排表:先分词去标点,再去停用词——停用词是语言里最普通、没有区分度、一般不能当检索词的词,去掉它能明显缩小索引;随后加同义词、做大写转小写和词根归一等语言处理,得到「词」,记录每个词出现在哪些文档、词频多少,并对词典按字母排序、合并相同的词;④写入磁盘:缓冲区内容由 DWPT(DocumentsWriterPerThread)的 flush() 落盘,生成一个新的段。
关键在于 flush 不是每条文档都做,而是由四个条件之一触发:缓冲区超过 MaxBufferedDocs 条数、超过 RAMBufferSizeMB 内存上限、显式调用 flush() 或 commit()、合并策略需要。所以批量导入时的提交节奏会直接决定段的数量,也就决定了之后的合并压力与查询扇出。
结构图:
flowchart TD
A["添加文档:遍历文件,构造 Document"] --> B["正排表:原始字段值,差值存储与压缩"]
B --> C["文本分析:分词→去停用词→同义词→词根"]
C --> D["倒排表:词→文档ID与词频"]
D --> E["flush 落盘:DWPT 生成新段"]
E --> F["merge:小段合并为大段"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 搜索引擎工具 · 查看原书依据
触发写入磁盘文件的是DocumentsWriterPerThread(DWPT)的flush()方法。触发时间可能是以下条件:超过MaxBufferedDocs限制;超过RAMBufferSizeMB限制;
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第10章 搜索引擎工具(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0134.html)
- 结论依据:原文列出 flush 的触发条件,说明落盘是按缓冲阈值或显式提交批量发生的,而不是每写一条文档就生成一个段。
- 原始内容:触发写入磁盘文件的是DocumentsWriterPerThread(DWPT)的flush()方法。触发时间可能是以下条件:超过MaxBufferedDocs限制;超过RAMBufferSizeMB限制;