知识卡片
InfluxDB用分片整体删除替代LSM树的逐条墓碑删除
LSM-tree类存储引擎处理”删除”的常规办法是追加写一条墓碑标记, 真正的空间回收要等后台合并线程扫到它才会发生——这对一般的 键值数据是合理的,但时序数据的删除模式完全不一样:不是零散地 删几条记录,而是成批量地、按时间范围整体过期(比如”删除30天前 的全部数据”)。如果继续用逐条墓碑标记的方式处理这种整体过期, 会带来大量本可以避免的合并开销。InfluxDB最初用LevelDB/RocksDB 时正是遇到了这个问题:删除操作只是追加一条”已删除”的日志, 旧数据仍然占着磁盘空间,必须靠后续合并才能真正清理,而合并 本身又消耗CPU和I/O。InfluxDB的解法是从数据组织方式上就为这种 “批量按时间过期”的需求做准备:把数据按时间切成一个个数据分片, 每个分片各自绑定一个独立的存储引擎实例,专门只存这一段时间的 数据。当这段时间的数据整体过期时,不需要逐条打墓碑再等合并, 而是直接关闭这个分片对应的存储引擎实例、把它的物理文件整个 删掉——删除操作从”逐条标记+后台清理”变成了”一次性文件删除”, 代价则是范围查询如果跨越多个时间分片,就要同时打开多个存储 引擎实例、读取更多文件,可能导致文件句柄开销上升、性能下降。 这说明存储引擎的删除策略应该跟着数据实际的删除模式走:零散 删除适合墓碑+合并,整体过期适合按边界分片、直接删文件。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《新型数据库系统:原理、架构与实践》第9章"时序数据库
技术"9.2.1节"TSM Tree"(源文件:
_epub-src/EPUB/xhtml/Section0001_0011.xhtml)
- 结论依据:原文明确"LevelDB和RocksDB均采用了追加写的方式来
处理删除操作,即不真正删除原数据,而是只追加写入一条日志
记录指示数据已被删除,导致了需要删除的旧数据仍会存储在磁盘
中占用空间……InfluxDB采用了数据分片的方式,每个数据分片
存储一段时间内的数据……需要删除过期数据时,InfluxDB直接
关闭过期数据分片对应的LevelDB实例,并将物理文件全部删除",
直接说明分片删除策略针对的正是LSM-tree逐条墓碑删除的低效问题。
- 原始内容:InfluxDB采用了数据分片的方式,每个数据分片存储一段
时间内的数据,并且通过一个LevelDB实例进行管理。需要删除过期
数据时,InfluxDB直接关闭过期数据分片对应的LevelDB实例,并
将物理文件全部删除。