知识卡片

结构图卡 · 2699.b.2

OpenTSDB时间序列建模四次迭代:避免热点与压缩存储

理解等级:未标注

这是另一个rowkey设计的经典案例,教的核心课题是”排序字段放在rowkey前面还是后面,会影响特定分区与访问模式下的读负载分布”。方案A:rowkey=timestamp+metric(字符串),用HBase当简单kv存,能满足scan需求但metric字符串重复存储浪费空间。方案B:把metric编码成数字省空间,但仍以timestamp开头——由于HBase按rowkey全局排序,所有”最新”数据的rowkey前缀都很接近,物理上会被集中存放在同一个(或少数几个)RegionServer上,而最新数据恰恰是被访问最频繁的(数据局部性),于是造成读热点,单个RegionServer负载过重。方案C的关键转折是交换字段顺序:把metric放到timestamp前面,让不同metric的数据分散到不同rowkey前缀区间、进而分散到不同RegionServer,在书中所述指标分布下分散热点,代价是查询某个时间区间的数据现在要扫描多行(不再是连续存储)。方案D进一步优化查询效率:把一小时内同一metric的多条数值压缩存进同一行,rowkey只保留整点时间戳,行内各列名用相对该整点的时间偏移量表示——这样既缩小了存储(偏移量比完整时间戳短),又减少了需要扫描的行数(一次读到手就是一小时的数据)。可迁移启发:当rowkey的排序字段本身带有”越新越热”的访问局部性(如时间戳)时,若按时间前缀分区且近期数据集中读写,把时间戳放在rowkey靠前位置容易形成热点;可考虑把”能把请求打散到不同分区”的字段(如设备ID/指标名)放在前面,把有局部性的字段挪到后面或压缩进列名,用适度的扫描/查询复杂度换取负载均衡。

结构图:

flowchart TB
  A["方案A: rowkey=timestamp+metric(字符串)<br/>满足需求但metric重复存储浪费空间"]
  A --> B["方案B: metric编码成数字<br/>省空间;书中近期读负载集中时形成热点"]
  B --> C["方案C: 交换顺序,rowkey=metric+timestamp<br/>书中场景分散热点,区间查询需扫多行"]
  C --> D["方案D: 一行压缩存一小时数据<br/>rowkey=metric+整点时间戳,列名=时间偏移量<br/>省空间+减少扫描行数"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第7章《分布式结构化存储系统》之"7.5 HBase应用案例"(源文件:_epub-src/OEBPS/text00053.html) - 结论依据:原文说明"方案B仍存在性能问题:HBase自动按照rowkey排序,这使得最近的metric数据被紧挨着存储在同一个RegionServer上,考虑到数据局部性特点(最新的数据访问频率最高),这将导致某个RegionServer读请求负载过重……一种可行的优化方式是将rowkey中timestamp和metric两个字段位置互换一下……方案C能够很好地均衡各个RegionServer的读负载……为了进一步提高性能,可将多行数据压缩存储到一行中……在方案D中,每行数据保存了特定metric在一个小时内的数值,其中rowkey中的timestamp为整点时间戳,而各列名则为相对于该整点时刻的偏移量", 直接支撑本卡四次迭代的结构图与结论。 - 原始内容:通过这种方式,在节省存储空间(时间偏移量占用空间要小于时间戳)的同时,可加快数据读性能(主要读请求为区间扫描)。