知识卡片
TTL与删分区的清理对比
清理历史数据有两种方式:TTL 按数据存活时间逐行扫描删除;DROP PARTITION 一次删除整个分区,只涉及元数据变更。
测试中两者都每 10 分钟执行一次,后台有 50 或 100 个并发写线程:
- TTL:50 线程时每次耗时 8–10 分钟,删除 700 万–1100 万行;100 线程时最多处理约 2000 万行,但耗时增至 15–30 分钟且波动大,高负载下还会拉低整体 QPS。
- DROP PARTITION:几乎立即完成,资源消耗极低。
结论:大规模或按时间的清理,用分区表加 DROP PARTITION;细粒度或后台清理才用 TTL,它不适合写入吞吐高或需要快速删除大量数据的负载。前提是表上没有全局索引,否则删分区也会变慢。按时间滚动清理时,可用 Range INTERVAL 分区,定期执行 ALTER TABLE … FIRST PARTITION LESS THAN 删除旧分区、LAST PARTITION LESS THAN 创建新分区。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 11 处
- 库表设计 · 查看原书依据
TTL:根据数据的存活时间自动删除数据。由于需要逐行扫描并删除数据,因此速度可能较慢。
- 库表设计 · 查看原书依据
DROP PARTITION:一次性删除整个分区。该方法通常速度更快,尤其适用于大规模数据集。
- 库表设计 · 查看原书依据
本节描述的性能优势仅适用于不包含全局索引的分区表。
- 库表设计 · 查看原书依据
在 50 个并发线程下,每个 TTL 任务耗时 8 到 10 分钟,删除 700 万到 1100 万行数据。
- 库表设计 · 查看原书依据
在 100 个并发线程下,TTL 最多能处理约 2000 万行数据,但执行时间增加至 15 到 30 分钟,且波动较大。
- 库表设计 · 查看原书依据
在高负载场景下,由于额外的扫描和删除开销,TTL 任务会导致整体 QPS 下降。
- 库表设计 · 查看原书依据
ALTER TABLE ... DROP PARTITION 语句几乎可以立即删除整个分区。
- 库表设计 · 查看原书依据
由于该操作仅涉及元数据变更,因此资源消耗极低。
- 库表设计 · 查看原书依据
要定期更新 FIRST PARTITION 和 LAST PARTITION,可以执行类似以下的 DDL 语句。这些语句用于删除旧分区并创建新分区。
- 库表设计 · 查看原书依据
对于大规模或基于时间的数据清理,建议使用分区表并通过 DROP PARTITION 删除数据。这种方法性能更好,对系统的影响更小,且运维更简单。
- 库表设计 · 查看原书依据
对于细粒度或后台数据清理场景,可以使用 TTL。TTL 不太适合写入吞吐量高或需要快速删除大量数据的工作负载。