知识卡片

普通读书笔记卡 · 1770.b.1.a

零层重叠扩大合并范围

理解等级:高级

LevelDB的L0由内存表刷出,各文件key范围可能重叠;更高层的同层文件范围互不重叠。合并L0某文件时需纳入同层重叠文件,再与下一层重叠范围多路归并。不能仅按文件数判所有层的触发规则,原书是简化流程,实际还受层容量和读压力等机制影响。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据常用的算法与数据结构 · 查看原书依据

      我们知道在大于0的层级中,每个SSTable文件内的key都是由小到大有序存储的,而且不同文件之间的key范围(文件内最小key和最大key之间)不会有任何重叠。Level 0的SSTable文件有些特殊,尽管每个文件也是根据key由小到大排列的,但是因为Level 0的文件是通过minor Compaction直接生成的,所以任意两个Level 0下的两个SSTable文件可能在key范围上有重叠。所以在做major Compaction的时候,对于大于Level 0的层级,选择其中一个文件就行,但是对于Level 0来说,指定某个文件后,本Level中很可能有其他SSTable文件的key范围和这个文件有重叠,这种情况下,要找出所有有重叠的文件和Level 1的文件进行合并,即Level 0在进行文件选择的时候,可能会有多个文件参与major Compaction。

    参考来源

    - 位置:《大数据日知录:架构与算法》第3章《大数据常用的算法与数据结构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00008.html) - 结论依据:原文以“Level 0的SSTable文件有些特殊”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。 - 原始内容:我们知道在大于0的层级中,每个SSTable文件内的key都是由小到大有序存储的,而且不同文件之间的key范围(文件内最小key和最大key之间)不会有任何重叠。Level 0的SSTable文件有些特殊,尽管每个文件也是根据key由小到大排列的,但是因为Level 0的文件是通过minor Compaction直接生成的,所以任意两个Level 0下的两个SSTable文件可能在key范围上有重叠。所以在做major Compaction的时候,对于大于Level 0的层级,选择其中一个文件就行,但是对于Level 0来说,指定某个文件后,本Level中很可能有其他SSTable文件的key范围和这个文件有重叠,这种情况下,要找出所有有重叠的文件和Level 1的文件进行合并,即Level 0在进行文件选择的时候,可能会有多个文件参与major Compaction。 - 边界对照:[LevelDB实现说明](https://raw.githubusercontent.com/google/leveldb/main/doc/impl.md)、[Bitcoin原论文](https://bitcoin.org/bitcoin.pdf)、[SILT原论文](https://www.cs.cmu.edu/~dga/papers/silt-sosp2011.pdf);用于校正原书简化,未将书外观点伪作原文。