知识卡片

普通读书笔记卡 · 1775.i

块索引定位SSTable数据

理解等级:中级

SSTable按键有序存储,并用块索引把目标键定位到较小读取范围;索引可留内存,减少扫描数据文件。读操作还需合并MemTable与多个SSTable中的版本。布隆过滤器可快速排除确定不存在的键,阳性仍可能是假阳性,不能据此直接返回存在或跳过真实验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 列式数据库 · 查看原书依据

      SSTable是BigTable内部用来存储数据的文件,其具有特定的格式。图10-8体现了SSTable的格式信息。每个SSTable划分为两块:数据存储区和索引区。数据存储区用来存储具体的数据,本身又被划分成小的数据块,每次读取的单位就是一个数据块。索引区记载了每个数据块存储的“行主键”范围及其在SSTable中的位置信息,当BigTable打开一个SSTable文件的时候,系统将索引区加载入内存,当要读取一个数据块时,首先在内存的数据块索引中利用二分查找,快速定位某条“行记录”在SSTable中的位置信息,之后就可以根据位置信息一次性读取某个数据块。

    参考来源

    - 位置:《大数据日知录:架构与算法》第10章《列式数据库》,原文段落44(OEBPS/text00015.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:SSTable是BigTable内部用来存储数据的文件,其具有特定的格式。图10-8体现了SSTable的格式信息。每个SSTable划分为两块:数据存储区和索引区。数据存储区用来存储具体的数据,本身又被划分成小的数据块,每次读取的单位就是一个数据块。索引区记载了每个数据块存储的“行主键”范围及其在SSTable中的位置信息,当BigTable打开一个SSTable文件的时候,系统将索引区加载入内存,当要读取一个数据块时,首先在内存的数据块索引中利用二分查找,快速定位某条“行记录”在SSTable中的位置信息,之后就可以根据位置信息一次性读取某个数据块。