知识卡片
节点故障后的补副本策略
缩容与故障恢复的处理过程基本相同:缩容是主动把 Store 标为 Offline,PD 把其上的 Region 迁走;故障恢复是 Store 损坏且无法恢复,PD 为缺副本的 Region 在其他节点补齐。两种情况下,replicaChecker 都在发现异常 Peer 后,在健康的 Store 上创建新副本替换。
无人介入时,PD 等待半小时(max-store-down-time)后把故障节点设为 Down,开始补副本。这个等待应按判断调整:
- 确定故障无法恢复:立即做下线处理,让 PD 尽快补齐副本,降低数据丢失风险;
- 确定能恢复但半小时内来不及:临时把 max-store-down-time 调大,避免超时后产生不必要的副本补充、浪费资源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 5 处
- 性能调优 · 查看原书依据
缩容是指预备将某个 Store 下线,通过命令将该 Store 标记为 "Offline" 状态,此时 PD 通过调度将待下线节点上的 Region 迁移至其他节点。
- 性能调优 · 查看原书依据
故障恢复是指当有 Store 发生故障且无法恢复时,有 Peer 分布在对应 Store 上的 Region 会产生缺少副本的状况,此时 PD 需要在其他节点上为这些 Region 补副本。
- 性能调优 · 查看原书依据
这两种情况的处理过程基本上是一样的。replicaChecker 检查到 Region 存在异常状态的 Peer 后,生成调度在健康的 Store 上创建新副本替换异常的副本。
- 性能调优 · 查看原书依据
没有人工介入时,PD 处理 TiKV 节点故障的默认行为是,等待半小时之后(可通过 max-store-down-time 配置调整),将此节点设置为 Down 状态,并开始为涉及到的 Region 补充副本。
- 性能调优 · 查看原书依据
实践中,如果能确定这个节点的故障是不可恢复的,可以立即做下线处理,这样 PD 能尽快补齐副本,降低数据丢失的风险。
参考来源
- 位置:《TiDB 最佳实践(v8.5)》第05章《性能调优》·《PD 调度策略最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch05.xhtml;片段 n05-04;阅读段落 227,228,229,323,324)(来源项目:book-sources;内容对应 docs-cn release-8.5)
- 结论依据:原文对节点故障后的补副本策略给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。
- 原始内容:缩容是指预备将某个 Store 下线,通过命令将该 Store 标记为 "Offline" 状态,此时 PD 通过调度将待下线节点上的 Region 迁移至其他节点。 …… 故障恢复是指当有 Store 发生故障且无法恢复时,有 Peer 分布在对应 Store 上的 Region 会产生缺少副本的状况,此时 PD 需要在其他节点上为这些 Region 补副本。 …… 这两种情况的处理过程基本上是一样的。replicaChecker 检查到 Region 存在异常状态的 Peer 后,生成调度在健康的 Store 上创建新副本替换异常的副本。 …… 没有人工介入时,PD 处理 TiKV 节点故障的默认行为是,等待半小时之后(可通过 max-store-down-time 配置调整),将此节点设置为 Down 状态,并开始为涉及到的 Region 补充副本。 …… 实践中,如果能确定这个节点的故障是不可恢复的,可以立即做下线处理,这样 PD 能尽快补齐副本,降低数据丢失的风险。