知识卡片
分批删除大量数据
删除大量数据时,用 delete from t where … limit 5000 循环执行,以 Affected Rows 等于 0 作为结束条件,避免一个大事务。
但单纯循环会越删越慢:每次删除都从前向后遍历,前面删掉的数据在短时间内留下删除标记,GC 清理之前都会拖慢后面的 Delete。更好的做法是细化 Where 条件,把大块数据拆成互不重叠的小范围逐段删除。例如要删除某一天的数据,就按小时分 24 段,每段内再循环 limit 5000,避免前面的删除影响后面的删除。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 3 处
- 使用概览 · 查看原书依据
在删除大量数据的时候,建议使用 Delete from t where xx limit 5000; 这样的方案,通过循环来删除,用 Affected Rows == 0 作为循环结束条件。
- 使用概览 · 查看原书依据
如果一次删除的数据量非常大,这种循环的方式会越来越慢,因为每次删除都是从前向后遍历,前面的删除之后,短时间内会残留不少删除标记(后续会被 GC 清理掉),影响后面的 Delete 语句。如果有可能,建议把 Where 条件细化。
- 使用概览 · 查看原书依据
上面是一段伪代码,意思就是要把大块的数据拆成小块删除,以避免删除过程中前面的 Delete 语句影响后面的 Delete 语句。
参考来源
- 位置:《TiDB 最佳实践(v8.5)》第01章《使用概览》·《TiDB 最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch01.xhtml;片段 n01-01;阅读段落 47,48,50)(来源项目:book-sources;内容对应 docs-cn release-8.5)
- 结论依据:原文给出 limit 循环删除的方法、越删越慢的原因(删除标记待 GC),以及按小时拆分的伪代码。
- 原始内容:在删除大量数据的时候,建议使用 Delete from t where xx limit 5000; 这样的方案,通过循环来删除,用 Affected Rows == 0 作为循环结束条件。 …… 如果一次删除的数据量非常大,这种循环的方式会越来越慢,因为每次删除都是从前向后遍历,前面的删除之后,短时间内会残留不少删除标记(后续会被 GC 清理掉),影响后面的 Delete 语句。如果有可能,建议把 Where 条件细化。 …… 上面是一段伪代码,意思就是要把大块的数据拆成小块删除,以避免删除过程中前面的 Delete 语句影响后面的 Delete 语句。