知识卡片
近实时靠的是刷新
写入的文档先进入索引缓冲区,攒成一批后被重写成一个新段,写进文件系统缓存(FileSystemCache),此时段就能被打开、被查询;真正用 fsync() 落到物理磁盘则要等一定间隔或外部触发。
为什么要分两步:fsync 是 I/O 操作,每条文档都做一次代价无法接受;而写进文件系统缓存后立即可读,于是「可搜索」与「已持久化」被解耦。这就是近实时(NRT):新数据在短时间(秒级到分钟级)内可见,而不是写入即见。
由此得到几条实践规则:写完立刻按条件查询、计数或聚合,可能查不到刚写的数据,需要显式刷新或等待刷新间隔;把刷新间隔调到极小并不会换来「真实时」,只会产生大量小段,加剧后台合并和 I/O 抖动;段不可变,删除只是标记,删完数据磁盘不会马上回收。
一句话:NRT 是在持久化成本与可见性之间做的折中,刷新频率是可调的性能旋钮,不是「延迟参数」。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 搜索引擎工具 · 查看原书依据
即先将写入Elasticsearch的文档收集到索引缓冲区并重写成一个段,然后再写入FileSytemcache,之后经过一定间隔时间或者外部触发才写入磁盘,但是写入FileSytemcache后就可以打开和查询,保证短时间查询到数据。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第10章 搜索引擎工具(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0142.html)
- 结论依据:原文描述了「缓冲区→新段→文件系统缓存→定时落盘」的顺序,并说明写入缓存后即可查询,这解释了近实时的由来与可见性延迟。
- 原始内容:即先将写入Elasticsearch的文档收集到索引缓冲区并重写成一个段,然后再写入FileSytemcache,之后经过一定间隔时间或者外部触发才写入磁盘,但是写入FileSytemcache后就可以打开和查询,保证短时间查询到数据。