知识卡片

普通读书笔记卡 · 2789.c.2.a

分批删除大量数据

理解等级:中级

删除大量数据时,用 delete from t where … limit 5000 循环执行,以 Affected Rows 等于 0 作为结束条件,避免一个大事务。

但单纯循环会越删越慢:每次删除都从前向后遍历,前面删掉的数据在短时间内留下删除标记,GC 清理之前都会拖慢后面的 Delete。更好的做法是细化 Where 条件,把大块数据拆成互不重叠的小范围逐段删除。例如要删除某一天的数据,就按小时分 24 段,每段内再循环 limit 5000,避免前面的删除影响后面的删除。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 3 处

    • 使用概览 · 查看原书依据

      在删除大量数据的时候,建议使用 Delete from t where xx limit 5000; 这样的方案,通过循环来删除,用 Affected Rows == 0 作为循环结束条件。

    • 使用概览 · 查看原书依据

      如果一次删除的数据量非常大,这种循环的方式会越来越慢,因为每次删除都是从前向后遍历,前面的删除之后,短时间内会残留不少删除标记(后续会被 GC 清理掉),影响后面的 Delete 语句。如果有可能,建议把 Where 条件细化。

    • 使用概览 · 查看原书依据

      上面是一段伪代码,意思就是要把大块的数据拆成小块删除,以避免删除过程中前面的 Delete 语句影响后面的 Delete 语句。

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第01章《使用概览》·《TiDB 最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch01.xhtml;片段 n01-01;阅读段落 47,48,50)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文给出 limit 循环删除的方法、越删越慢的原因(删除标记待 GC),以及按小时拆分的伪代码。 - 原始内容:在删除大量数据的时候,建议使用 Delete from t where xx limit 5000; 这样的方案,通过循环来删除,用 Affected Rows == 0 作为循环结束条件。 …… 如果一次删除的数据量非常大,这种循环的方式会越来越慢,因为每次删除都是从前向后遍历,前面的删除之后,短时间内会残留不少删除标记(后续会被 GC 清理掉),影响后面的 Delete 语句。如果有可能,建议把 Where 条件细化。 …… 上面是一段伪代码,意思就是要把大块的数据拆成小块删除,以避免删除过程中前面的 Delete 语句影响后面的 Delete 语句。