知识卡片
节点下线慢的处理
问题:TiKV 节点下线(缩容)速度很慢。从 Operator 相关指标判断原因:
- 调度在生成但很慢:调大 replica-schedule-limit,放宽 max-pending-peer-count 和 max-snapshot-count;排查是否有其他调度竞争。另一个常见原因是,3 副本下约 1⁄3 待迁移 Region 的 Leader 集中在该节点,速度受限于它单点生成 Snapshot 的速度,可以手动给它添加 evict-leader-scheduler 先迁走 Leader。
- 没有调度生成:下线调度被关闭,或 replica-schedule-limit 被设为 0;也可能找不到可迁入的节点,例如相同 Label 的替代节点可用容量都不足 20%,PD 为避免爆盘停止调度,此时需要加节点或删数据释放空间。
节点上线没有特殊处理,依靠 balance region 调度完成,排查方式同 [[分布不均衡的排查路径]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 7 处
- 性能调优 · 查看原书依据
这个场景需要从 Operator 相关的 Metrics 入手,分析 Operator 的生成执行情况。
- 性能调优 · 查看原书依据
调度速度受限于 limit 配置。可以适当调大 replica-schedule-limit,max-pending-peer-count 以及 max-snapshot-count 限制也可以放宽。
- 性能调优 · 查看原书依据
系统中同时运行有其他的调度任务产生竞争。处理方法参考Leader/Region 分布不均衡。
- 性能调优 · 查看原书依据
下线单个节点时,由于待操作的 Region 有很大一部分(3 副本配置下约 1/3)的 Leader 都集中在下线的节点上,下线速度会受限于这个单点生成 Snapshot 的速度。
- 性能调优 · 查看原书依据
下线调度被关闭,或者 replica-schedule-limit 被设为 “0”。
- 性能调优 · 查看原书依据
找不到节点来转移 Region。例如相同 Label 的替代节点可用容量都不足 20%,PD 为了避免爆盘的风险会停止调度。这种情况需要添加更多节点,或者删除一些数据释放空间。
- 性能调优 · 查看原书依据
目前 PD 没有对节点上线特殊处理。节点上线实际上是依靠 balance region 机制来调度的,所以参考Leader/Region 分布不均衡中的排查步骤即可。
参考来源
- 位置:《TiDB 最佳实践(v8.5)》第05章《性能调优》·《PD 调度策略最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch05.xhtml;片段 n05-04;阅读段落 302,304,305,306,308,309,311)(来源项目:book-sources;内容对应 docs-cn release-8.5)
- 结论依据:原文对节点下线慢的处理给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。
- 原始内容:这个场景需要从 Operator 相关的 Metrics 入手,分析 Operator 的生成执行情况。 …… 调度速度受限于 limit 配置。可以适当调大 replica-schedule-limit,max-pending-peer-count 以及 max-snapshot-count 限制也可以放宽。 …… 系统中同时运行有其他的调度任务产生竞争。处理方法参考Leader/Region 分布不均衡。 …… 下线单个节点时,由于待操作的 Region 有很大一部分(3 副本配置下约 1/3)的 Leader 都集中在下线的节点上,下线速度会受限于这个单点生成 Snapshot 的速度。 …… 下线调度被关闭,或者 replica-schedule-limit 被设为 “0”。 …… 找不到节点来转移 Region。例如相同 Label 的替代节点可用容量都不足 20%,PD 为了避免爆盘的风险会停止调度。这种情况需要添加更多节点,或者删除一些数据释放空间。 …… 目前 PD 没有对节点上线特殊处理。节点上线实际上是依靠 balance region 机制来调度的,所以参考Leader/Region 分布不均衡中的排查步骤即可。