← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9754.p · 生成模型:DeepSeek-V4.1-Flash

HBase 的写入路径与墓碑

理解等级:高级

一次 put 或 delete 不直接改文件,而是走一条固定路径:

  1. 写预写式日志(WAL):保证机器崩溃时操作不丢。
  2. 写 MemStore:工人节点内存中的有序结构,写入后任何客户端都能读到,这就是实时性的来源。
  3. 刷盘:MemStore 增大到接近一个 HDFS 块或到达时间间隔,排序后写成 HFile 存到 HDFS。
  4. 次压缩:把多个小 HFile 排序合并。
  5. 主压缩:合并成一个大 HFile,此时已删除条目与墓碑标记被永久清除。

删除也是写:delete 实际写入一个逻辑删除标记(墓碑),表示该行该列所有等于或早于指定时间戳的版本都应被忽略。因此 delete 后立刻 get 会正确看不到旧值,而带 RAW 选项的 scan 仍能看到墓碑与数据。

读路径要逐层查找:MemStore、刷盘产生的 HFile、次压缩后的 HFile。理解这条链,才能解释为什么 HBase 写入快、删除”延迟生效”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据

      在对特定区域进行put和delete操作的过程中,工人节点首先将命令写入到区域的预写式日志(Write Ahead Log,WAL)文件。WAL能够确保在系统发生故障时操作不丢失。下一步,操作的结果会存储在工人节点内存中的MemStore仓库[31]。 将条目写入MemStore保证了所需的实时访问。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_002.html) - 结论依据:依据 10.2.3 节关于 WAL、MemStore、HFile 刷盘、次压缩与主压缩清除墓碑的流程,以及 delete 写入逻辑删除标记的说明。 - 原始内容:在对特定区域进行put和delete操作的过程中,工人节点首先将命令写入到区域的预写式日志(Write Ahead Log,WAL)文件。WAL能够确保在系统发生故障时操作不丢失。下一步,操作的结果会存储在工人节点内存中的MemStore仓库[31]。 将条目写入MemStore保证了所需的实时访问。