知识卡片
新表单Region的写热点
即使主键随机离散、业务上没有热点,新表在短时间内被高并发批量写入时仍会写入倾斜。实验中 6 个 TiKV 只有 tikv-3(Raft Leader)和两个 Follower 有负载,其余几乎空闲。
原因是新建的表在 TiKV 中只对应一个 Region,范围是 [CommonPrefix + TableID, CommonPrefix + TableID + 1),所有写入都进入它。Region 随写入增大而分裂,但最先发起选举的是原 Leader 所在的 Store,新 Region 的 Leader 很可能仍在原节点,压力继续集中。PD 发现热点后才把 Leader 均分到其他节点,并把 Region 迁到空闲节点,持续一段时间后集群才被调度均衡。
这个“预热阶段”在大多数场景下无害,但高并发批量写入(如清算、结算跑批)应提前切分 Region 跳过它,见 [[用Split预切分新表]]。
结构图:
flowchart TD
A[新建表:只有 1 个 Region] --> B[批量写入全部进入该 Region]
B --> C[Region 分裂]
C --> D[新 Region 的 Leader 仍在原 Store]
D --> B
D --> E[PD 发现热点]
E --> F[迁移 Leader 与 Region 到空闲节点]
F --> G[集群压力均衡]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 8 处
- 性能调优 · 查看原书依据
客户端在短时间内发起了“密集”的写入,TiDB 收到的请求是 3K QPS。理论上,压力应该均摊给 6 个 TiKV 节点。但是从 TiKV 节点的 CPU 使用情况上看,存在明显的写入倾斜(tikv - 3 节点是写入热点):
- 性能调优 · 查看原书依据
高并发批量插入的场景通常出现在业务系统的批量任务中,例如清算以及结算等业务。此类场景存在以下特点:
- 性能调优 · 查看原书依据
以上测试并未达到理论场景中最佳实践,因为刚创建表的时候,这个表在 TiKV 中只会对应为一个 Region,范围是:
- 性能调优 · 查看原书依据
短时间内大量数据会持续写入到同一个 Region 上。
- 性能调优 · 查看原书依据
上图简单描述了这个过程,随着数据持续写入,TiKV 会将一个 Region 切分为多个。但因为首先发起选举的是原 Leader 所在的 Store,所以新切分好的两个 Region 的 Leader 很可能还会在原 Store 上。
- 性能调优 · 查看原书依据
在持续写入的过程中,PD 发现 Node 1 中产生了热点,会将 Leader 均分到其他的 Node 上。如果 TiKV 的节点数多于副本数的话,TiKV 会尽可能将 Region 迁移到空闲的节点上。
- 性能调优 · 查看原书依据
在持续写入一段时间后,整个集群会被 PD 自动地调度成一个压力均匀的状态,到那个时候整个集群的能力才会真正被利用起来。在大多数情况下,以上热点产生的过程是没有问题的,这个阶段属于表 Region 的预热阶段。
- 性能调优 · 查看原书依据
但是对于高并发批量密集写入场景来说,应该避免这个阶段。