知识卡片
段为什么写入后不可变
段(segment)是 Lucene 索引里最小的独立存储单元,一个逻辑索引(表现为一个目录)由 N 个段组成,查询时要依次访问每个段。段一旦写出就只读,不能追加、不能原地修改。
这个约束换来的工程简化很明显:只读文件可被多线程同时读而不加锁,可整段缓存、整段复制、整段丢弃,也不必为「边读边写」设计复杂的并发控制。代价是「更新」只能变成追加:新增文档写进新段;删除文档只在段上打删除标记,原文仍占空间;修改文档等于删旧加新。于是段会越积越多,查询要扇出到更多段、文件句柄变多、命中判断变慢,必须有后台合并(merge)把小段合成大段。
理解这一点才能解释上层现象:Elasticsearch 写完要等一会儿才能搜到、删除后磁盘空间不立刻释放、合并期间出现 I/O 抖动,根子都在段不可变上。反过来说,凡是「索引能改」的印象,都是新增段加合并造成的逻辑效果,不是原地改写。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 搜索引擎工具 · 查看原书依据
段是索引中最小的独立存储单元。一个索引文件由一个或者多个段组成。Lucene中的段有不变性,也就是说段一旦生成,只能有读操作,不能有写操作。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第10章 搜索引擎工具(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0133.html)
- 结论依据:原文给出段的定义与不变性约束,这正是「更新只能靠新增段、删除只能打标记、必须合并」这些代价的来源。
- 原始内容:段是索引中最小的独立存储单元。一个索引文件由一个或者多个段组成。Lucene中的段有不变性,也就是说段一旦生成,只能有读操作,不能有写操作。