知识卡片

普通读书笔记卡 · 3125

HBase与Kudu的定位分野:Kudu用Raft协议兼顾吞吐与延迟

理解等级:未标注

Hadoop生态长期存在一个存储层空白:追求高吞吐批处理用HDFS,追求低延迟随机读写用HBase,但没有一个系统能同时兼顾两者——这正是Kudu要填补的位置。Kudu在架构上明显借鉴了HBase(表水平拆成Tablet,类似Region;Master负责元数据和Tablet Server健康监控,类似HMaster),但在两个关键点上做了不同选择:一是彻底改成真正的列式存储(而非HBase的列簇式,参见[[HBase的多维有序映射模型与”列簇式而非列式”辨析]]),让它能高效处理OLAP式的分析负载;二是不再依赖ZooKeeper做协调,而是让Master自身、以及每个Tablet的多个副本之间都直接使用Raft一致性协议——每个Tablet的leader副本处理写请求并同步给follower,follower只提供读服务,leader故障时follower重新选举,这与HBase依赖外部ZooKeeper做协调形成对照,Kudu把一致性协议内置到自身组件中。这两个改动共同支撑了Kudu”顺序写和随机写并存场景下仍能保持良好性能”的定位,使它能在流式数据实时写入的同时支持类OLAP查询,填补了”批处理用HDFS、随机读写用HBase”之外的第三个位置。可迁移启发:HBase与Kudu的分野提示一个通用判断标准——当业务需要”强一致KV式的海量数据更新与随机读取”时选HBase这类路线,当业务需要”实时写入且要立刻支持分析型查询”时应该考虑Kudu这类专门为批流融合场景设计的存储引擎,而不是勉强让HBase或HDFS单独承担超出其设计定位的职责。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第7章《分布式结构化存储系统》之"7.6 分布式列式存储系统Kudu"(源文件:_epub-src/OEBPS/text00054.html) - 结论依据:原文说明"在追求高吞吐的批处理场景下,我们选用HDFS;在追求低延迟,有随机读写需求的场景下,我们选用HBase。那么是否存在一种系统,能结合两个系统的优点,同时支持高吞吐率和低延迟呢?Kudu的出现正是为了解决这一难题……Tablet副本之间使用Raft协议来实现高可用,当leader所在的节点发生故障时,follower会重新选举leader……总结起来,HBase是一个强一致的KV系统……而Kudu则是一个实现了多种一致性协议的结构化存储引擎,它通常与Impala结合使用,可用于实时OLAP分析", 直接支撑本卡关于HBase/Kudu定位分野的结论。 - 原始内容:Kudu具有以下几个特点:……顺序写和随机写并存的场景下,仍能达到良好的性能;高可用,使用Raft协议保证数据高可靠存储。