知识卡片
零层重叠扩大合并范围
LevelDB的L0由内存表刷出,各文件key范围可能重叠;更高层的同层文件范围互不重叠。合并L0某文件时需纳入同层重叠文件,再与下一层重叠范围多路归并。不能仅按文件数判所有层的触发规则,原书是简化流程,实际还受层容量和读压力等机制影响。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据常用的算法与数据结构 · 查看原书依据
我们知道在大于0的层级中,每个SSTable文件内的key都是由小到大有序存储的,而且不同文件之间的key范围(文件内最小key和最大key之间)不会有任何重叠。Level 0的SSTable文件有些特殊,尽管每个文件也是根据key由小到大排列的,但是因为Level 0的文件是通过minor Compaction直接生成的,所以任意两个Level 0下的两个SSTable文件可能在key范围上有重叠。所以在做major Compaction的时候,对于大于Level 0的层级,选择其中一个文件就行,但是对于Level 0来说,指定某个文件后,本Level中很可能有其他SSTable文件的key范围和这个文件有重叠,这种情况下,要找出所有有重叠的文件和Level 1的文件进行合并,即Level 0在进行文件选择的时候,可能会有多个文件参与major Compaction。
参考来源
- 位置:《大数据日知录:架构与算法》第3章《大数据常用的算法与数据结构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00008.html)
- 结论依据:原文以“Level 0的SSTable文件有些特殊”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。
- 原始内容:我们知道在大于0的层级中,每个SSTable文件内的key都是由小到大有序存储的,而且不同文件之间的key范围(文件内最小key和最大key之间)不会有任何重叠。Level 0的SSTable文件有些特殊,尽管每个文件也是根据key由小到大排列的,但是因为Level 0的文件是通过minor Compaction直接生成的,所以任意两个Level 0下的两个SSTable文件可能在key范围上有重叠。所以在做major Compaction的时候,对于大于Level 0的层级,选择其中一个文件就行,但是对于Level 0来说,指定某个文件后,本Level中很可能有其他SSTable文件的key范围和这个文件有重叠,这种情况下,要找出所有有重叠的文件和Level 1的文件进行合并,即Level 0在进行文件选择的时候,可能会有多个文件参与major Compaction。
- 边界对照:[LevelDB实现说明](https://raw.githubusercontent.com/google/leveldb/main/doc/impl.md)、[Bitcoin原论文](https://bitcoin.org/bitcoin.pdf)、[SILT原论文](https://www.cs.cmu.edu/~dga/papers/silt-sosp2011.pdf);用于校正原书简化,未将书外观点伪作原文。