← 返回刚才阅读的位置

知识卡片

结构图卡 · 9818.b · 生成模型:DeepSeek-V4.1-Flash

建索引的四步流水线

理解等级:中级

建索引可以拆成四步。①添加文档:遍历待索引文件,构造 Document 与 Field,交给默认索引链 DefaultIndexingChain;②构建正排表:保存原始字段值,用于排序、聚合和结果展示,用差值存储与压缩算法压低体积;③构建倒排表:先分词去标点,再去停用词——停用词是语言里最普通、没有区分度、一般不能当检索词的词,去掉它能明显缩小索引;随后加同义词、做大写转小写和词根归一等语言处理,得到「词」,记录每个词出现在哪些文档、词频多少,并对词典按字母排序、合并相同的词;④写入磁盘:缓冲区内容由 DWPT(DocumentsWriterPerThread)的 flush() 落盘,生成一个新的段。

关键在于 flush 不是每条文档都做,而是由四个条件之一触发:缓冲区超过 MaxBufferedDocs 条数、超过 RAMBufferSizeMB 内存上限、显式调用 flush() 或 commit()、合并策略需要。所以批量导入时的提交节奏会直接决定段的数量,也就决定了之后的合并压力与查询扇出。

结构图:

flowchart TD
  A["添加文档:遍历文件,构造 Document"] --> B["正排表:原始字段值,差值存储与压缩"]
  B --> C["文本分析:分词→去停用词→同义词→词根"]
  C --> D["倒排表:词→文档ID与词频"]
  D --> E["flush 落盘:DWPT 生成新段"]
  E --> F["merge:小段合并为大段"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第10章 搜索引擎工具(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0134.html) - 结论依据:原文列出 flush 的触发条件,说明落盘是按缓冲阈值或显式提交批量发生的,而不是每写一条文档就生成一个段。 - 原始内容:触发写入磁盘文件的是DocumentsWriterPerThread(DWPT)的flush()方法。触发时间可能是以下条件:超过MaxBufferedDocs限制;超过RAMBufferSizeMB限制;