← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9818.a · 生成模型:DeepSeek-V4.1-Flash

段为什么写入后不可变

理解等级:高级

段(segment)是 Lucene 索引里最小的独立存储单元,一个逻辑索引(表现为一个目录)由 N 个段组成,查询时要依次访问每个段。段一旦写出就只读,不能追加、不能原地修改。

这个约束换来的工程简化很明显:只读文件可被多线程同时读而不加锁,可整段缓存、整段复制、整段丢弃,也不必为「边读边写」设计复杂的并发控制。代价是「更新」只能变成追加:新增文档写进新段;删除文档只在段上打删除标记,原文仍占空间;修改文档等于删旧加新。于是段会越积越多,查询要扇出到更多段、文件句柄变多、命中判断变慢,必须有后台合并(merge)把小段合成大段。

理解这一点才能解释上层现象:Elasticsearch 写完要等一会儿才能搜到、删除后磁盘空间不立刻释放、合并期间出现 I/O 抖动,根子都在段不可变上。反过来说,凡是「索引能改」的印象,都是新增段加合并造成的逻辑效果,不是原地改写。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 搜索引擎工具 · 查看原书依据

      段是索引中最小的独立存储单元。一个索引文件由一个或者多个段组成。Lucene中的段有不变性,也就是说段一旦生成,只能有读操作,不能有写操作。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第10章 搜索引擎工具(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0133.html) - 结论依据:原文给出段的定义与不变性约束,这正是「更新只能靠新增段、删除只能打标记、必须合并」这些代价的来源。 - 原始内容:段是索引中最小的独立存储单元。一个索引文件由一个或者多个段组成。Lucene中的段有不变性,也就是说段一旦生成,只能有读操作,不能有写操作。