知识卡片
HBase列存与行键设计
HBase是BigTable的开源实现,运行在HDFS之上,本质是按列族组织的稀疏大表,表变大后分裂成Region、靠加节点线性扩展并支持多节点并发写。但访问方式极受限,只有指定rowkey、按rowkey范围scan、全表扫描三种,全表扫描上亿行会拖垮集群吞吐,所以rowkey设计几乎决定查询性能:把查询维度拼进rowkey,利用行按rowkey排序缩小scan范围。若既要按卖家又要按买家查,就得建二级索引表,把查询条件做成它的rowkey、值存主表rowkey;这又带来写入性能下降与一致性问题。复杂组合查询最终仍要交给搜索引擎。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 分布式系统基础设施 2.2 持久化存储 · 查看原书依据
} 3. rowkey设计 要想访问HBase的行,只有三种方式,一种是通过指定rowkey进行访问,另一种是指定rowkey的range进行scan,再者就是全表扫描。由于全表扫描对于性能的消耗很大,扫描一张上亿行的大表将带来很大的开销,以至于整个集群的吞吐都会受到影响。因此,rowkey设计的好坏,将在很大程度上影响表的查询性能,是能否充分发挥HBase性能的关键。
参考来源
- 位置:《大型分布式网站架构设计与实践》第2章《2.2 持久化存储》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0007_split_002.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `295f6fd456551991b42f11c6ede5ea1275796c8fcde953968c0945ad8b505b91`)
- 结论依据:原文『要想访问HBase的行,只有三种方式…rowkey设计的好坏,将在很大程度上影响表的查询性能』支撑行键决定查询能力的结论。
- 原始内容:} 3. rowkey设计 要想访问HBase的行,只有三种方式,一种是通过指定rowkey进行访问,另一种是指定rowkey的range进行scan,再者就是全表扫描。由于全表扫描对于性能的消耗很大,扫描一张上亿行的大表将带来很大的开销,以至于整个集群的吞吐都会受到影响。因此,rowkey设计的好坏,将在很大程度上影响表的查询性能,是能否充分发挥HBase性能的关键。