知识卡片
HBase缓存选型边界
原书在2015年前后的HBase 0.98⁄1.0语境中回答的是一个具体问题:繁忙集群同时承受大量随机写和随机读,调用方又希望把它当作在线缓存。写入产生的StoreFile来不及Compaction、JVM与缓存参数不合适以及GC抖动,都可能使随机读延迟不稳定。对这类负载,原文建议先调优JVM和Cache,使用BloomFilter、Bucket Cache等能力,必要时做读写分离;若业务仍要求缓存系统那样低且稳定的随机读延迟,再把缓存职责交给Redis或Memcache。
因此,这个案例支持的是一条带条件的选型结论:当工作集、写入压力、Compaction、GC和延迟目标共同使HBase随机读无法达标时,不应只因HBase已经存在就让它兼任缓存。它不支持“HBase在所有版本和负载下随机读都不足”,也不支持“HBase不能服务在线随机读”。当前HBase仍提供Block Cache、BucketCache、Bloom Filter等随机读优化手段,是否需要专用缓存应由命中率、工作集大小、尾延迟、写入压力和运维成本的实测结果决定。
结构图:
flowchart TD
A[书中案例:繁忙HBase承受大量随机写与随机读] --> B[观察Compaction积压、GC、Cache命中率与尾延迟]
B --> C[先调JVM与Cache,并评估BloomFilter、Bucket Cache和读写分离]
C --> D{随机读延迟是否满足在线目标}
D -->|满足| E[保留HBase在线读取]
D -->|仍不满足且缓存是主要职责| F[引入Redis或Memcache]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用架构(第1卷)》第6章《大数据与数据库》"6.4 Hadoop、HBase年度回顾"节,"6.4.3 疑问与解惑"(源文件:_epub-src/OEBPS/Text/Chapter6_4_4.xhtml)
- 结论依据:原文先说明大量写入导致文件来不及Compact、JVM和GC也会影响随机读,建议调优JVM、Cache、BloomFilter及读写分离;在“基于HBase的缓存”问答中再建议考虑Redis或Memcache,支撑本卡的条件化选型结论。
- 原始内容:HBase的随机读性能不足为在线服务提供缓存服务,可以考虑使用Redis或者Memcache……如果没有设置把HBase的表放到内存,HBase不会消耗很大内存。对于忙碌的HBase集群来说,还是比较消耗CPU的。
- 时效边界:[Apache HBase Reference Guide](https://hbase.apache.org/book.html)说明Block Cache、BucketCache和Bloom Filter均会影响随机读表现,应按工作集与缓存命中情况调优。