知识卡片
大集群PD的TSO瓶颈
集群中只有一个活跃的 PD Server(Leader),负责分配 TSO(Timestamp Oracle,全局时间戳)和处理请求,因此它可能限制集群扩展。实例:3 台 56 核的 PD,QPS 超过 100 万、每秒 TSO 请求超过 16.2 万时,Leader 的 CPU 达到约 4600%,接近耗尽。
三处调整:
- PD:tso-update-physical-interval 从默认 50ms 缩短到 10ms,更频繁地分配 TSO batch,减少下一次分配的等待。
- TiDB:把 tidb_tso_client_batch_max_wait_time 从默认 0 设为 2,让 TSO 客户端等待片刻以攒批。
- TiKV:把 region-split-size 适度调大(如 288MiB),减少 Region 数和心跳开销。
调整后,每秒 TSO 请求降到 6.48 万次,CPU 从约 4600% 降到 1400%,TSO 处理时间的 P999 从 2ms 降到 0.5ms。攒批是用单次请求的少量等待,换取请求总数的大幅下降(推论)。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 8 处
- 集群部署 · 查看原书依据
在 TiDB 集群中,一个活跃的 Placement Driver (PD) Server 承担着许多关键任务,例如处理提供 TSO (Timestamp Oracle) 和处理请求。
- 集群部署 · 查看原书依据
以下图表展示了一个由三个 PD Server 组成的大规模 TiDB 集群的特征,其中每个 PD Server 均配置了 56 核的 CPU。
- 集群部署 · 查看原书依据
tso-update-physical-interval:此参数控制 PD Server 更新物理 TSO batch 的间隔。通过缩短此间隔,PD Server 可以更频繁地分配 TSO batch,从而减少下一次分配的等待时间。
- 集群部署 · 查看原书依据
除了 PD 配置外,启用 TSO 客户端攒批操作的等待功能可以进一步优化 TSO 客户端的行为。要启用此功能,可以将全局变量 tidb_tso_client_batch_max_wait_time 设置为非零值:
- 集群部署 · 查看原书依据
为了减少 Region 数量并降低系统的心跳开销,可以参考调整 Region 大小将 TiKV 配置中的 Region 大小适度调大
- 集群部署 · 查看原书依据
每秒 TSO 请求数减少到 64,800 次。
- 集群部署 · 查看原书依据
CPU 利用率显著降低,从约 4600% 降低到 1400%。
- 集群部署 · 查看原书依据
PD server TSO handle time 的 P999 值从 2 ms 降低到 0.5 ms。