知识卡片
HBase 的写入路径与墓碑
一次 put 或 delete 不直接改文件,而是走一条固定路径:
- 写预写式日志(WAL):保证机器崩溃时操作不丢。
- 写 MemStore:工人节点内存中的有序结构,写入后任何客户端都能读到,这就是实时性的来源。
- 刷盘:MemStore 增大到接近一个 HDFS 块或到达时间间隔,排序后写成 HFile 存到 HDFS。
- 次压缩:把多个小 HFile 排序合并。
- 主压缩:合并成一个大 HFile,此时已删除条目与墓碑标记被永久清除。
删除也是写:delete 实际写入一个逻辑删除标记(墓碑),表示该行该列所有等于或早于指定时间戳的版本都应被忽略。因此 delete 后立刻 get 会正确看不到旧值,而带 RAW 选项的 scan 仍能看到墓碑与数据。
读路径要逐层查找:MemStore、刷盘产生的 HFile、次压缩后的 HFile。理解这条链,才能解释为什么 HBase 写入快、删除”延迟生效”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
在对特定区域进行put和delete操作的过程中,工人节点首先将命令写入到区域的预写式日志(Write Ahead Log,WAL)文件。WAL能够确保在系统发生故障时操作不丢失。下一步,操作的结果会存储在工人节点内存中的MemStore仓库[31]。 将条目写入MemStore保证了所需的实时访问。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_002.html)
- 结论依据:依据 10.2.3 节关于 WAL、MemStore、HFile 刷盘、次压缩与主压缩清除墓碑的流程,以及 delete 写入逻辑删除标记的说明。
- 原始内容:在对特定区域进行put和delete操作的过程中,工人节点首先将命令写入到区域的预写式日志(Write Ahead Log,WAL)文件。WAL能够确保在系统发生故障时操作不丢失。下一步,操作的结果会存储在工人节点内存中的MemStore仓库[31]。 将条目写入MemStore保证了所需的实时访问。