知识卡片

普通读书笔记卡 · 1726.d.15.h.2

海量Region的周边问题

理解等级:中级

Region 达到百万量级时,问题不止出现在 Raftstore:

  • PD 切换 Leader 慢:Region 元信息持久化在 etcd 上,百万 Region 时新 Leader 从 etcd 读取可能要十几秒甚至几十秒。v3.0 起 PD 默认开启 use-region-storage,把元信息存在本地 LevelDB,并通过其他机制在 PD 节点间同步。
  • PD 路由信息更新不及时:TiKV 的 pd-worker 定期向 PD 上报 Region 元信息,TiKV 重启或切换 Leader 时还要重新计算 approximate size/keys,Region 多时单线程可能积压。这不影响实际读写,但会让 PD 调度不准确,TiDB 更新 Region cache 时也要多几次往返。可看 TiKV 面板 Task 下的 Worker pending tasks,正常应维持在较低值。
  • Prometheus 查询慢:TiKV 实例多时计算压力大,Grafana 查看指标变慢;v3.0 起对部分指标做了预计算以缓解。
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 5 处

    • 性能调优 · 查看原书依据

      PD 需要将 Region Meta 信息持久化在 etcd 上,以保证切换 PD Leader 节点后 PD 能快速继续提供 Region 路由服务。

    • 性能调优 · 查看原书依据

      因此从 v3.0 版本起,PD 默认开启配置项 use-region-storage,将 Region Meta 信息存在本地的 LevelDB 中,并通过其他机制同步 PD 节点间的信息。

    • 性能调优 · 查看原书依据

      在 TiKV 中,pd-worker 模块将 Region Meta 信息定期上报给 PD,在 TiKV 重启或者切换 Region Leader 时需要通过统计信息重新计算 Region 的 approximate size/keys。

    • 性能调优 · 查看原书依据

      可在 TiKV Grafana 面板中查看 Task 下的 Worker pending tasks 来确定 pd-worker 是否有任务堆积。通常来说,pending tasks 应该维持在一个比较低的值。

    • 性能调优 · 查看原书依据

      在大规模集群中,随着 TiKV 实例数的增加,Prometheus 查询 metrics 时的计算压力较大,导致 Grafana 查看 metrics 的速度较慢。

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第05章《性能调优》·《海量 Region 集群调优最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch05.xhtml;片段 n05-03;阅读段落 180,181,183,184,187)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文对海量Region的周边问题给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。 - 原始内容:PD 需要将 Region Meta 信息持久化在 etcd 上,以保证切换 PD Leader 节点后 PD 能快速继续提供 Region 路由服务。 …… 因此从 v3.0 版本起,PD 默认开启配置项 use-region-storage,将 Region Meta 信息存在本地的 LevelDB 中,并通过其他机制同步 PD 节点间的信息。 …… 在 TiKV 中,pd-worker 模块将 Region Meta 信息定期上报给 PD,在 TiKV 重启或者切换 Region Leader 时需要通过统计信息重新计算 Region 的 approximate size/keys。 …… 可在 TiKV Grafana 面板中查看 Task 下的 Worker pending tasks 来确定 pd-worker 是否有任务堆积。通常来说,pending tasks 应该维持在一个比较低的值。 …… 在大规模集群中,随着 TiKV 实例数的增加,Prometheus 查询 metrics 时的计算压力较大,导致 Grafana 查看 metrics 的速度较慢。