知识卡片

普通读书笔记卡 · 7173.n · 生成模型:Tencent Hunyuan Hy

索引段合并与优化

理解等级:高级

Lucene索引由多个segment组成,新增文档只追加到新段,段数会越积越多。两个后果:进程可打开的文件句柄数有限,段太多会抛too many open files;逐段检索再合并结果也使查询变慢。于是Lucene在段数达阈值时自动合并成一段,可合并要大量I/O与较长时间,期间查询性能下降,在线检索难以接受。工程解法是把职责拆开:由专门的dump server集群生成并合并索引,不承接前台查询,合并好的索引再推送给query server替换。数据量小可定时全量重建并容忍延迟;量大时把索引加载进内存、按频率回写磁盘,并周期性全量重建来收敛段数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 分布式系统基础设施 2.4 垂直化搜索引擎 · 查看原书依据

      一般来说,操作系统对于进程打开的文件句柄数是有限的,当一个进程打开太多的文件时,会抛出too many open files异常,并且执行搜索任务时,Lucene必须分别搜索每个段,然后将各个段的搜索结果合并,这样查询的性能就会降低。 为了提高Lucene索引的查询性能,当索引段的数量达到设置的上限时,Lucene会自动进行索引段的优化,将索引段合并成为一个,以提高查询的性能,

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第2章《2.4 垂直化搜索引擎》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0007_split_004.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `6b17e8ae39ba9d3082d863cc25fb1d874604b7173bc0245503e7a8afffeed684`) - 结论依据:原文『会抛出too many open files异常…这样查询的性能就会降低』直接给出段过多带来的两类失败与性能边界。 - 原始内容:一般来说,操作系统对于进程打开的文件句柄数是有限的,当一个进程打开太多的文件时,会抛出too many open files异常,并且执行搜索任务时,Lucene必须分别搜索每个段,然后将各个段的搜索结果合并,这样查询的性能就会降低。 为了提高Lucene索引的查询性能,当索引段的数量达到设置的上限时,Lucene会自动进行索引段的优化,将索引段合并成为一个,以提高查询的性能,