知识卡片

结构图卡 · 2699.a.1

HBase的多维有序映射模型与"列簇式而非列式"辨析

理解等级:未标注

HBase的逻辑数据模型可以理解成一个多维有序映射表:[rowkey, column family, column qualifier, timestamp] → value。rowkey是全局有序的行标识(无数据类型,字节数组存储);column family在建表时就要固定好(schema的一部分),是访问控制和物理存储的基本单位;column qualifier是column family内部的动态列标识,可以不预先声明,每行数据甚至可以有不同的qualifier集合;同一个cell内部还按时间戳保存多个版本,默认保留3个版本,读取时不指定版本号则返回最新版本。这套模型的一个常见误解是把HBase当成”列式存储引擎”,但作者特意澄清:真正的列式存储是把每一列单独存成一份文件,而HBase是”列簇式”存储——只有column family这一层是分开物理存储的,同一个column family内部的多个column qualifier仍然是按行组织存放的,这意味着它与逐列组织数据的列式引擎有不同的读取成本;实际读出多少数据还取决于过滤条件、存储块和访问路径,不能断言每次都读完整个family。Kudu是书中随后介绍的另一条列式存储路线,不能当作HBase的改造版本。可迁移启发:设计HBase表schema时,字段的”读取访问模式是否总是成组出现”应该决定它们该不该被放进同一个column family——经常被一起读取的字段放一个family没问题,但如果查询经常只需要其中一两个字段,应结合查询模式评估family布局和实际读取成本。

结构图:

flowchart TB
  A["HBase逻辑模型<br/>[rowkey,column family,column qualifier,timestamp]→value"]
  A --> R["rowkey<br/>全局有序,字节数组,无类型"]
  A --> CF["column family<br/>建表时固定,物理存储单位<br/>=列簇式存储的粒度"]
  CF --> CQ["column qualifier<br/>动态列,可不预声明"]
  CQ --> C["cell<br/>多版本值,按时间戳降序"]
  CF -.->|"family内部仍按行组织<br/>≠真正列式存储"| Note["列簇式≠逐列存储<br/>Kudu为另一方案"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第7章《分布式结构化存储系统》之"7.2 HBase数据模型"(源文件:_epub-src/OEBPS/text00050.html) - 结论依据:原文说明"HBase也可以看作一个key/value存储系统……可以将[row key,column family,column qualifier,timestamp]看做key,Cell中的值对应value……对于HBase而言,它并不是一个列式存储引擎,而是列簇式存储引擎,即同一列簇中的数据会单独存储,但列簇内数据是行式存储的。为了将HBase改造成列式存储引擎,进一步提高读写性能,Cloudera公司开源了分布式数据库Kudu",支撑列簇式与列式布局的区别;其中“改造HBase”的书中措辞不作为Kudu项目关系的事实判断。 - 原始内容:column family是访问控制的基本单位,同一column family中的数据在物理上会存储在一个文件中。