知识卡片
HBase Region定位的三级跳转与客户端缓存
HBase把表按rowkey切成多个固定大小的有序分区(region),分散存放在不同RegionServer上,所以任何put/get/delete/scan操作的前提都是先解决”给定一个rowkey,它到底在哪个RegionServer上”这个定位问题。HBase没有让Master集中管理这份映射(那样Master会重新变成读写路径上的瓶颈和单点),而是把”rowkey区间→Region位置”的映射本身存放在一张特殊的系统表hbase:meta里,这张表的位置又通过ZooKeeper暴露出来,于是定位变成三级跳转:客户端先问ZooKeeper要hbase:meta表所在的RegionServer地址,再去这个RegionServer查hbase:meta表,找到目标rowkey实际所在的RegionServer,最后才去这个RegionServer执行真正的读写操作。这个设计如果每次操作都走三级跳转显然效率很低,所以客户端会把”hbase:meta的位置”这一跳的结果缓存在本地,之后的请求可以跳过第一步直接查询本地缓存的元信息位置,只有当region发生迁移导致缓存失效(查询到了错误的RegionServer)时,客户端才会重新走一遍完整的三级流程刷新缓存。可迁移启发:把”元数据本身”和”元数据的元数据(去哪里找元数据)”拆成两层、只让客户端缓存变化频率最低的那一层地址,是分布式系统里常见的”减少间接层访问次数”的套路——愿意多一次间接,换来的是每一层各自都可以独立扩展和迁移,而不必事事都找中心节点。
结构图:
flowchart LR
C["Client"] -->|"1.首次查询hbase:meta位置"| Z["ZooKeeper"]
Z -->|"返回meta表所在RegionServer"| C
C -->|"2.查meta表"| M["hbase:meta所在RegionServer"]
M -->|"返回目标rowkey所在RegionServer"| C
C -->|"3.执行真正读写(缓存meta位置后可跳过1)"| T["目标RegionServer"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第7章《分布式结构化存储系统》之"7.3 HBase基本架构"(源文件:_epub-src/OEBPS/text00051.html)
- 结论依据:原文说明"客户端与ZooKeeper交互,查找hbase:meta系统表所在的RegionServer……hbase:meta表维护了每个用户表中rowkey区间与Region存放位置的映射关系……客户端与hbase:meta系统表所在RegionServer交互,获取rowkey所在的RegionServer……客户端与rowkey所在的RegionServer交互,执行该rowkey相关操作……客户端首次执行读写操作时才需要定位hbase:meta表的位置,之后会将其缓存到本地,除非因region移动导致缓存失效,客户端才会重新读取hbase:meta表位置", 直接支撑本卡三级跳转与客户端缓存的结构图。
- 原始内容:需要注意的是,客户端首次执行读写操作时才需要定位hbase:meta表的位置,之后会将其缓存到本地,除非因region移动导致缓存失效,客户端才会重新读取hbase:meta表位置,并更新缓存。