知识卡片
分布不均衡的排查路径
问题:各 Store 的 Leader 或 Region 分布看起来不均衡。
PD 的打分机制决定了 Leader Count、Region Count 不能完全说明负载状态,要先从 TiKV 的实际负载或存储占用确认确实失衡,再看各 Store 的得分:
- 得分接近:PD 认为已经均衡。可能是热点导致负载不均,按热点问题处理;也可能是大量空 Region 或小 Region 使各 Store 的 Leader 数差别很大,需开启并加速 Region Merge;或者节点软硬件不同,用 leader-weight、region-weight 调整。
- 得分差距大:看 Operator 指标。调度在生成但很慢时,可能受 limit 限制(可调大 leader-schedule-limit、region-schedule-limit,放宽 max-pending-peer-count、max-snapshot-count),也可能与其他调度竞争(如下线与 balance 争抢配额,可调小 replica-schedule-limit 或暂时关闭下线),或者执行本身慢(不涉及 Snapshot 的 Step 应为毫秒级,涉及的为数十秒)。没有生成调度时,可能是调度器被删或 limit 为 0,存在 evict-leader-scheduler、Label property 等约束,或拓扑限制只能做到数据中心内均衡。
结构图:
flowchart TD
A[按实际负载或存储占用确认失衡] --> B{各 Store 得分接近?}
B -- 是 --> C[查热点、空小 Region、软硬件差异]
B -- 否 --> D{有 Operator 生成?}
D -- 有但慢 --> E[调大 limit、减少竞争、查 Step 耗时]
D -- 没有 --> F[查调度器开关、约束与拓扑限制]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 9 处
- 性能调优 · 查看原书依据
PD 的打分机制决定了一般情况下,不同 Store 的 Leader Count 和 Region Count 不能完全说明负载均衡状态,所以需要从 TiKV 的实际负载或者存储空间占用来判断是否有负载不均衡的状况。
- 性能调优 · 查看原书依据
确认 Leader/Region 分布不均衡后,首先观察不同 Store 的打分情况。
- 性能调优 · 查看原书依据
如果不同 Store 的打分是接近的,说明 PD 认为此时已经是均衡状态了,可能的原因有:
- 性能调优 · 查看原书依据
存在热点导致负载不均衡。可以参考热点分布不均匀中的解决办法进行分析处理。
- 性能调优 · 查看原书依据
存在大量空 Region 或小 Region,因此不同 Store 的 Leader 数量差别特别大,导致 Raftstore 负担过重。此时需要开启 Region Merge 并尽可能加速合并。
- 性能调优 · 查看原书依据
不同 Store 的软硬件环境存在差异。可以参考负载均衡一节视实际情况调整 leader-weight 和 region-weight 来控制 Leader/Region 的分布。
- 性能调优 · 查看原书依据
如果不同 Store 的分数差异较大,需要进一步检查 Operator 的相关 Metrics,特别关注 Operator 的生成和执行情况,这时大体上又分两种情况:
- 性能调优 · 查看原书依据
生成的调度是正常的,但是调度的速度很慢。可能的原因有: 调度速度受限于 limit 配置。
- 性能调优 · 查看原书依据
没能生成对应的 balance 调度。可能的原因有: 调度器未被启用。比如对应的 Scheduler 被删除了,或者 limit 被设置为 “0”。 由于其他约束无法进行调度。