← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2580.b.1.c.1.d.2.c.3

分区与非分区表的转换

理解等级:高级

1.2 亿行的表在分区与非分区之间转换,原文比较了三种方法:

方法 写法 实测耗时
Pipelined DML SET tidb_dml_type = “bulk” 后执行 INSERT INTO … SELECT 58 分 42 秒
IMPORT INTO IMPORT INTO … FROM SELECT … WITH thread = 32 约 17 分钟
在线 DDL ALTER TABLE … REMOVE PARTITIONING 或 PARTITION BY 转非分区 2 小时 50 分;转分区 2 小时 31 分

只看耗时,IMPORT INTO 最快。前两种写入一张新表,之后还需切换到新表(推论);在线 DDL 原地变更,可调大 tidb_ddl_reorganize_worker_cnt 和 batch_size 加速。原文没有给出三种方法对线上业务影响的测量,选择时还要考虑是否允许双表切换。

数字说明:IMPORT INTO 的正文输出为 16 分 49.90 秒,汇总表写作 16 分 59 秒,原文前后不一致。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 9 处

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第02章《库表设计》·《使用 TiDB 分区表的最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch02.xhtml;片段 n02-03;阅读段落 345,346,347,348,356,358,359,362,364)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文给出三种方法的 SQL 与实测耗时及汇总表;正文与汇总表的数字差异已如实标注。 - 原始内容:对于大型表(例如 1.2 亿行),你可能需要在分区与非分区模式之间转换以进行性能调优或模式重构。TiDB 支持以下方法: …… Pipelined DML:INSERT INTO ... SELECT ... …… IMPORT INTO:IMPORT INTO ... FROM SELECT ... …… 在线 DDL:使用 ALTER TABLE 直接变更模式 …… SET tidb_dml_type = "bulk"; SET tidb_mem_quota_query = 0; SET tidb_enable_mutation_checker = OFF; INSERT INTO fa_new SEL …… IMPORT INTO fa_new FROM SELECT * FROM fa WITH thread = 32, disable_precheck; …… Query OK, 120000000 rows affected, 1 warning (16 min 49.90 sec) Records: 120000000, ID: c1d04eec-fb49-49bb-af92-bf3d6e2d …… SET @@global.tidb_ddl_REORGANIZE_worker_cnt = 16; SET @@global.tidb_ddl_REORGANIZE_batch_size = 4096; ALTER TABLE fa REM …… SET @@global.tidb_ddl_REORGANIZE_worker_cnt = 16; SET @@global.tidb_ddl_REORGANIZE_batch_size = 4096; ALTER TABLE fa_new