知识卡片

结构图卡 · 4298

HBase缓存选型边界

理解等级:高级

原书在2015年前后的HBase 0.98⁄1.0语境中回答的是一个具体问题:繁忙集群同时承受大量随机写和随机读,调用方又希望把它当作在线缓存。写入产生的StoreFile来不及Compaction、JVM与缓存参数不合适以及GC抖动,都可能使随机读延迟不稳定。对这类负载,原文建议先调优JVM和Cache,使用BloomFilter、Bucket Cache等能力,必要时做读写分离;若业务仍要求缓存系统那样低且稳定的随机读延迟,再把缓存职责交给Redis或Memcache。

因此,这个案例支持的是一条带条件的选型结论:当工作集、写入压力、Compaction、GC和延迟目标共同使HBase随机读无法达标时,不应只因HBase已经存在就让它兼任缓存。它不支持“HBase在所有版本和负载下随机读都不足”,也不支持“HBase不能服务在线随机读”。当前HBase仍提供Block Cache、BucketCache、Bloom Filter等随机读优化手段,是否需要专用缓存应由命中率、工作集大小、尾延迟、写入压力和运维成本的实测结果决定。

结构图:

flowchart TD
    A[书中案例:繁忙HBase承受大量随机写与随机读] --> B[观察Compaction积压、GC、Cache命中率与尾延迟]
    B --> C[先调JVM与Cache,并评估BloomFilter、Bucket Cache和读写分离]
    C --> D{随机读延迟是否满足在线目标}
    D -->|满足| E[保留HBase在线读取]
    D -->|仍不满足且缓存是主要职责| F[引入Redis或Memcache]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构(第1卷)》第6章《大数据与数据库》"6.4 Hadoop、HBase年度回顾"节,"6.4.3 疑问与解惑"(源文件:_epub-src/OEBPS/Text/Chapter6_4_4.xhtml) - 结论依据:原文先说明大量写入导致文件来不及Compact、JVM和GC也会影响随机读,建议调优JVM、Cache、BloomFilter及读写分离;在“基于HBase的缓存”问答中再建议考虑Redis或Memcache,支撑本卡的条件化选型结论。 - 原始内容:HBase的随机读性能不足为在线服务提供缓存服务,可以考虑使用Redis或者Memcache……如果没有设置把HBase的表放到内存,HBase不会消耗很大内存。对于忙碌的HBase集群来说,还是比较消耗CPU的。 - 时效边界:[Apache HBase Reference Guide](https://hbase.apache.org/book.html)说明Block Cache、BucketCache和Bloom Filter均会影响随机读表现,应按工作集与缓存命中情况调优。