知识卡片

普通读书笔记卡 · 2580.b.1.c.1.b.1.e.1

物理DDL的速度与负载

理解等级:中级

物理 DDL 回填数据时,用两个系统变量平衡速度和对业务的影响:

  • tidb_ddl_reorg_worker_cnt:回填的并发度;
  • tidb_ddl_reorg_batch_size:每批回填的数据量。

没有其他负载、要尽快完成 ADD INDEX 时可以调大,例如分别设为 20 和 2048;有业务负载、要尽量不影响业务时调小,例如 4 和 256。两个变量都能在执行中动态调整,在下一个事务批次生效。

配套做法:选业务低峰执行;任务在后台运行,接收请求的 TiDB 宕机不影响继续执行;进入 write reorg 阶段后观察 Grafana 上 TiDB、TiKV 的读写指标和业务响应时间,判断是否需要再调整。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 6 处

    • 库表设计 · 查看原书依据

      tidb_ddl_reorg_worker_cnt:这个变量用来设置 DDL 操作 reorg worker 的数量,控制回填的并发度。

    • 库表设计 · 查看原书依据

      tidb_ddl_reorg_batch_size:这个变量用来设置 DDL 操作 re-organize 阶段的 batch size,以控制回填的数据量。 推荐值:

    • 库表设计 · 查看原书依据

      以上两个变量均可以在 DDL 任务执行过程中动态调整,并且在下一个事务批次中生效。

    • 库表设计 · 查看原书依据

      根据 DDL 操作的类型,并结合业务负载压力,选择合适的时间点执行,例如建议在业务负载比较低的情况运行 ADD INDEX 操作。

    • 库表设计 · 查看原书依据

      由于添加索引的时间跨度较长,发送相关的指令后,TiDB 会在后台执行任务,TiDB server 宕机不会影响继续执行。

    • 库表设计 · 查看原书依据

      在添加索引时,回填数据阶段会对集群造成一定的读写压力。在 ADD INDEX 的命令发送成功后,并且在 write reorg 阶段,建议检查 Grafana 面板上 TiDB 和 TiKV 读写相关的性能指标,以及业务响应时间,来确定 A

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第02章《库表设计》·《DDL 语句的执行原理及最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch02.xhtml;片段 n02-01;阅读段落 55,56,58,59,60,67)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文对物理DDL的速度与负载给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。 - 原始内容:tidb_ddl_reorg_worker_cnt:这个变量用来设置 DDL 操作 reorg worker 的数量,控制回填的并发度。 …… tidb_ddl_reorg_batch_size:这个变量用来设置 DDL 操作 re-organize 阶段的 batch size,以控制回填的数据量。 推荐值: …… 以上两个变量均可以在 DDL 任务执行过程中动态调整,并且在下一个事务批次中生效。 …… 根据 DDL 操作的类型,并结合业务负载压力,选择合适的时间点执行,例如建议在业务负载比较低的情况运行 ADD INDEX 操作。 …… 由于添加索引的时间跨度较长,发送相关的指令后,TiDB 会在后台执行任务,TiDB server 宕机不会影响继续执行。 …… 在添加索引时,回填数据阶段会对集群造成一定的读写压力。在 ADD INDEX 的命令发送成功后,并且在 write reorg 阶段,建议检查 Grafana 面板上 TiDB 和 TiKV 读写相关的性能指标,以及业务响应时间,来确定 A