知识卡片
OpenTSDB时间序列建模四次迭代:避免热点与压缩存储
这是另一个rowkey设计的经典案例,教的核心课题是”排序字段放在rowkey前面还是后面,会影响特定分区与访问模式下的读负载分布”。方案A:rowkey=timestamp+metric(字符串),用HBase当简单kv存,能满足scan需求但metric字符串重复存储浪费空间。方案B:把metric编码成数字省空间,但仍以timestamp开头——由于HBase按rowkey全局排序,所有”最新”数据的rowkey前缀都很接近,物理上会被集中存放在同一个(或少数几个)RegionServer上,而最新数据恰恰是被访问最频繁的(数据局部性),于是造成读热点,单个RegionServer负载过重。方案C的关键转折是交换字段顺序:把metric放到timestamp前面,让不同metric的数据分散到不同rowkey前缀区间、进而分散到不同RegionServer,在书中所述指标分布下分散热点,代价是查询某个时间区间的数据现在要扫描多行(不再是连续存储)。方案D进一步优化查询效率:把一小时内同一metric的多条数值压缩存进同一行,rowkey只保留整点时间戳,行内各列名用相对该整点的时间偏移量表示——这样既缩小了存储(偏移量比完整时间戳短),又减少了需要扫描的行数(一次读到手就是一小时的数据)。可迁移启发:当rowkey的排序字段本身带有”越新越热”的访问局部性(如时间戳)时,若按时间前缀分区且近期数据集中读写,把时间戳放在rowkey靠前位置容易形成热点;可考虑把”能把请求打散到不同分区”的字段(如设备ID/指标名)放在前面,把有局部性的字段挪到后面或压缩进列名,用适度的扫描/查询复杂度换取负载均衡。
结构图:
flowchart TB
A["方案A: rowkey=timestamp+metric(字符串)<br/>满足需求但metric重复存储浪费空间"]
A --> B["方案B: metric编码成数字<br/>省空间;书中近期读负载集中时形成热点"]
B --> C["方案C: 交换顺序,rowkey=metric+timestamp<br/>书中场景分散热点,区间查询需扫多行"]
C --> D["方案D: 一行压缩存一小时数据<br/>rowkey=metric+整点时间戳,列名=时间偏移量<br/>省空间+减少扫描行数"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。