知识卡片

结构图卡 · 1206.d.1

社交关系数据建模三次迭代:rowkey设计的正反向查询权衡

理解等级:未标注

这是一个展示”HBase只支持基于rowkey索引”这一约束如何反向塑造schema设计的经典案例。需求是维护”用户关注关系”,要能双向查询(A关注了谁、谁关注了A)并支持增删。模型A:rowkey=userid,column family内每一列存一个关注对象——能高效回答”A关注了谁”和”A是否关注了B”,但”谁关注了A”需要全表扫描,且新增关注者时给列编号会引入原子性问题(多用户并发更新同一个counter)。模型B:把用户ID直接用作列名,绕开了编号问题,但”谁关注了A”仍然要全表扫描,因为HBase的索引能力天生只锚定在rowkey这一个维度上——列名不管怎么设计都没有索引能力。模型C是关键转折:既然索引只认rowkey,那就把”被关注关系”也编码进rowkey本身——把rowkey从纯userid改成”userid+被关注userid”的组合(宽表转窄表),并在同一张表里同时保存正向和反向两种关系,这样”A关注了谁”和”谁关注了A”都变成了对rowkey做前缀扫描,不再需要全表扫描;为了让rowkey长度统一(避免请求返回数据量不确定,增加调试难度),进一步把用户ID都转换成等长的md5哈希值再拼接成rowkey。可迁移启发:任何”只能按主键索引”的存储系统上做双向查询建模时,与其在列名或值上做文章,应该优先考虑能不能把需要被检索的维度直接编码进主键本身(哪怕因此要牺牲”一张逻辑表”的直观性,拆成正反两份冗余存储)。

结构图:

flowchart TB
  A["模型A: rowkey=userid,列=关注对象<br/>缺陷:反向查询要全表扫描+新增关注者有原子性问题"]
  A --> B["模型B: 用户ID作列名<br/>解决原子性,但反向查询仍需全表扫描(索引只认rowkey)"]
  B --> C["模型C: rowkey=userid+被关注userid(md5等长编码)<br/>同表保存正反向关系,双向查询都变成rowkey前缀扫描"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第7章《分布式结构化存储系统》之"7.5 HBase应用案例"(源文件:_epub-src/OEBPS/text00053.html) - 结论依据:原文说明"模型A能够能够很好地解决读数据要求中的第一条和第三条,但第二条非常低效,需要遍历整张表查找哪些用户关注了某个特定用户……模型B……唯独第二个读要求:'查看哪些用户关注了用户A'……这是由于HBase仅提供了基于rowkey的索引……在同一张表中保存用户X关注的用户列表以及关注X的用户列表……表中的rowkey由用户ID与被关注用户ID组合而成……可将用户ID映射成等长的hash值,组装成rowkey", 直接支撑本卡三次迭代的结构图与结论。 - 原始内容:为了规整化rowkey,避免rowkey长度导致每次请求返回的数据量不一(造成调试困难),可将用户ID映射成等长的hash值,组装成rowkey,比如"md5(userID1)+md5(userID2)"。