知识卡片

普通读书笔记卡 · 4757.a

大集群PD的TSO瓶颈

理解等级:高级

集群中只有一个活跃的 PD Server(Leader),负责分配 TSO(Timestamp Oracle,全局时间戳)和处理请求,因此它可能限制集群扩展。实例:3 台 56 核的 PD,QPS 超过 100 万、每秒 TSO 请求超过 16.2 万时,Leader 的 CPU 达到约 4600%,接近耗尽。

三处调整:

  1. PD:tso-update-physical-interval 从默认 50ms 缩短到 10ms,更频繁地分配 TSO batch,减少下一次分配的等待。
  2. TiDB:把 tidb_tso_client_batch_max_wait_time 从默认 0 设为 2,让 TSO 客户端等待片刻以攒批。
  3. TiKV:把 region-split-size 适度调大(如 288MiB),减少 Region 数和心跳开销。

调整后,每秒 TSO 请求降到 6.48 万次,CPU 从约 4600% 降到 1400%,TSO 处理时间的 P999 从 2ms 降到 0.5ms。攒批是用单次请求的少量等待,换取请求总数的大幅下降(推论)。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 8 处

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第03章《集群部署》·《在公有云上部署 TiDB 的最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch03.xhtml;片段 n03-01;阅读段落 69,71,75,78,81,85,86,87)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文对大集群PD的TSO瓶颈给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。 - 原始内容:在 TiDB 集群中,一个活跃的 Placement Driver (PD) Server 承担着许多关键任务,例如处理提供 TSO (Timestamp Oracle) 和处理请求。 …… 以下图表展示了一个由三个 PD Server 组成的大规模 TiDB 集群的特征,其中每个 PD Server 均配置了 56 核的 CPU。 …… tso-update-physical-interval:此参数控制 PD Server 更新物理 TSO batch 的间隔。通过缩短此间隔,PD Server 可以更频繁地分配 TSO batch,从而减少下一次分配的等待时间。 …… 除了 PD 配置外,启用 TSO 客户端攒批操作的等待功能可以进一步优化 TSO 客户端的行为。要启用此功能,可以将全局变量 tidb_tso_client_batch_max_wait_time 设置为非零值: …… 为了减少 Region 数量并降低系统的心跳开销,可以参考调整 Region 大小将 TiKV 配置中的 Region 大小适度调大 …… 每秒 TSO 请求数减少到 64,800 次。 …… CPU 利用率显著降低,从约 4600% 降低到 1400%。 …… PD server TSO handle time 的 P999 值从 2 ms 降低到 0.5 ms。