知识卡片
分区与非分区表的转换
1.2 亿行的表在分区与非分区之间转换,原文比较了三种方法:
| 方法 | 写法 | 实测耗时 |
|---|---|---|
| Pipelined DML | SET tidb_dml_type = “bulk” 后执行 INSERT INTO … SELECT | 58 分 42 秒 |
| IMPORT INTO | IMPORT INTO … FROM SELECT … WITH thread = 32 | 约 17 分钟 |
| 在线 DDL | ALTER TABLE … REMOVE PARTITIONING 或 PARTITION BY | 转非分区 2 小时 50 分;转分区 2 小时 31 分 |
只看耗时,IMPORT INTO 最快。前两种写入一张新表,之后还需切换到新表(推论);在线 DDL 原地变更,可调大 tidb_ddl_reorganize_worker_cnt 和 batch_size 加速。原文没有给出三种方法对线上业务影响的测量,选择时还要考虑是否允许双表切换。
数字说明:IMPORT INTO 的正文输出为 16 分 49.90 秒,汇总表写作 16 分 59 秒,原文前后不一致。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 9 处
- 库表设计 · 查看原书依据
对于大型表(例如 1.2 亿行),你可能需要在分区与非分区模式之间转换以进行性能调优或模式重构。TiDB 支持以下方法:
- 库表设计 · 查看原书依据
Pipelined DML:INSERT INTO ... SELECT ...
- 库表设计 · 查看原书依据
IMPORT INTO:IMPORT INTO ... FROM SELECT ...
- 库表设计 · 查看原书依据
在线 DDL:使用 ALTER TABLE 直接变更模式
- 库表设计 · 查看原书依据
SET tidb_dml_type = "bulk"; SET tidb_mem_quota_query = 0; SET tidb_enable_mutation_checker = OFF; INSERT INTO fa_new SEL
- 库表设计 · 查看原书依据
IMPORT INTO fa_new FROM SELECT * FROM fa WITH thread = 32, disable_precheck;
- 库表设计 · 查看原书依据
Query OK, 120000000 rows affected, 1 warning (16 min 49.90 sec) Records: 120000000, ID: c1d04eec-fb49-49bb-af92-bf3d6e2d
- 库表设计 · 查看原书依据
SET @@global.tidb_ddl_REORGANIZE_worker_cnt = 16; SET @@global.tidb_ddl_REORGANIZE_batch_size = 4096; ALTER TABLE fa REM
- 库表设计 · 查看原书依据
SET @@global.tidb_ddl_REORGANIZE_worker_cnt = 16; SET @@global.tidb_ddl_REORGANIZE_batch_size = 4096; ALTER TABLE fa_new