知识卡片
日志与表元数据分工
LevelDB写前日志记录待恢复的更新,MemTable提供内存有序访问;MANIFEST描述哪些SSTable有效及其层级、key范围,CURRENT指向当前MANIFEST。恢复需要内容日志和文件集合元数据配合。原书称LevelDB等价于BigTable子表服务器只是存储思想类比,单机引擎不包含整个分布式服务职责。
结构图:
flowchart TD
A[写入] --> B[写前日志]
B --> C[MemTable]
C --> D[Immutable MemTable]
D --> E[SSTable]
F[CURRENT] --> G[MANIFEST]
G --> E
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据常用的算法与数据结构 · 查看原书依据
SSTable中的某个文件属于特定层级,而且其存储的记录是key有序的,那么必然有文件中的最小key和最大key,这是非常重要的信息,LevelDB应该记下这些信息。manifest就是干这个的,它记载了SSTable各个文件的管理信息,比如属于哪个Level、文件名称、最小key和最大key各自是多少。图3-7是manifest所存储内容的示意。
参考来源
- 位置:《大数据日知录:架构与算法》第3章《大数据常用的算法与数据结构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00008.html)
- 结论依据:原文以“manifest就是干这个的”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。
- 原始内容:SSTable中的某个文件属于特定层级,而且其存储的记录是key有序的,那么必然有文件中的最小key和最大key,这是非常重要的信息,LevelDB应该记下这些信息。manifest就是干这个的,它记载了SSTable各个文件的管理信息,比如属于哪个Level、文件名称、最小key和最大key各自是多少。图3-7是manifest所存储内容的示意。
- 边界对照:[LevelDB实现说明](https://raw.githubusercontent.com/google/leveldb/main/doc/impl.md)、[Bitcoin原论文](https://bitcoin.org/bitcoin.pdf)、[SILT原论文](https://www.cs.cmu.edu/~dga/papers/silt-sosp2011.pdf);用于校正原书简化,未将书外观点伪作原文。