知识卡片

普通读书笔记卡 · 1756.h.1

混合部署的资源配额

理解等级:高级

成本敏感、性能要求不高时,可以在三台机器上各混合部署 1 个 TiDB、1 个 TiKV、1 个 PD。测试用 3 台 16 核、32 GB 内存的机器,跑 TPC-C 5000 仓、128 并发、12 小时,默认配置下 QPS 抖动明显。

抖动的原因是默认的线程池和后台任务配额是按资源充足的机器设定的;混合部署时多个组件共享同一份资源,需要用参数加以限制。处理原则:

  • PD 和 TiKV 都要写盘,使用不同的磁盘,避免磁盘延迟相互影响;
  • 先用默认配置跑一次真实负载,观察各线程池的实际使用量,再缩减利用率不高的线程池;
  • 有意牺牲一小部分性能,换取整体稳定。

TiDB 侧可用 performance.max-procs 限制 Go 进程能使用的 CPU 核数(默认是机器或 cgroups 的 CPU 数),防止 GC 等后台工作占用过多 CPU。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 10 处

    • 集群部署 · 查看原书依据

      在对性能要求不高且需要控制成本的场景下,将 TiDB、TiKV、PD 混合部署在三台机器上是一个可行的方案。

    • 集群部署 · 查看原书依据

      三台物理机,每台机器有 16 个 CPU 核心且内存为 32 GB。每节点(台机器)上混合部署 1 TiDB (实例)+ 1 TiKV (实例)+ 1 PD(实例)。

    • 集群部署 · 查看原书依据

      由于 PD 和 TiKV 都会存储信息到磁盘,磁盘的写入读取延迟会直接影响到 PD 和 TiKV 的服务延迟,为了防止 PD 和 TiKV 对磁盘资源的争抢导致相互影响,推荐 PD 和 TiKV 采用不同的磁盘。

    • 集群部署 · 查看原书依据

      在 TiUP bench 中使用 TPC-C 5000 Warehouse 数据,每次以 terminals 参数为 128 的并发度测试 12 小时。主要观察集群性能的稳定性指标。

    • 集群部署 · 查看原书依据

      下图是默认参数配置下,12 小时内集群的 QPS 监控,可以看倒有比较明显的抖动。

    • 集群部署 · 查看原书依据

      上图中出现抖动的主要原因是,默认的线程池和后台任务资源分配针对的是资源比较充足的机器。在混合部署的场景下,因为可用资源需要被多个组件共享,所以需要通过配置参数进行限制。

    • 集群部署 · 查看原书依据

      本节的配置项会调整一些与前台业务有关的线程池的资源配比。缩减这些线程池会损失一些性能,但在混合部署场景下可用资源有限,本身也难以达到很高的性能,所以选择牺牲一小部分性能去换取整体的稳定性。

    • 集群部署 · 查看原书依据

      可以先以默认配置为基础运行一次实际负载的测试,观察各线程池的实际使用量,再修改这些配置项,缩减利用率不高的线程池大小。

    • 集群部署 · 查看原书依据

      该参数控制着整个 Go 进程能使用的 CPU 核心数量,默认情况下为当前机器或者 cgroups 的 CPU 数量。

    • 集群部署 · 查看原书依据

      Go 运行时会定期使用一定比例的线程进行 GC 等后台工作。在混合部署模式下,如果不对这一参数进行限制,GC 等后台操作会过多占用 CPU 资源。

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第03章《集群部署》·《三节点混合部署的最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch03.xhtml;片段 n03-02;阅读段落 91,94,95,96,97,100,105,106,136,137)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文对混合部署的资源配额给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。 - 原始内容:在对性能要求不高且需要控制成本的场景下,将 TiDB、TiKV、PD 混合部署在三台机器上是一个可行的方案。 …… 三台物理机,每台机器有 16 个 CPU 核心且内存为 32 GB。每节点(台机器)上混合部署 1 TiDB (实例)+ 1 TiKV (实例)+ 1 PD(实例)。 …… 由于 PD 和 TiKV 都会存储信息到磁盘,磁盘的写入读取延迟会直接影响到 PD 和 TiKV 的服务延迟,为了防止 PD 和 TiKV 对磁盘资源的争抢导致相互影响,推荐 PD 和 TiKV 采用不同的磁盘。 …… 在 TiUP bench 中使用 TPC-C 5000 Warehouse 数据,每次以 terminals 参数为 128 的并发度测试 12 小时。主要观察集群性能的稳定性指标。 …… 下图是默认参数配置下,12 小时内集群的 QPS 监控,可以看倒有比较明显的抖动。 …… 上图中出现抖动的主要原因是,默认的线程池和后台任务资源分配针对的是资源比较充足的机器。在混合部署的场景下,因为可用资源需要被多个组件共享,所以需要通过配置参数进行限制。 …… 本节的配置项会调整一些与前台业务有关的线程池的资源配比。缩减这些线程池会损失一些性能,但在混合部署场景下可用资源有限,本身也难以达到很高的性能,所以选择牺牲一小部分性能去换取整体的稳定性。 …… 可以先以默认配置为基础运行一次实际负载的测试,观察各线程池的实际使用量,再修改这些配置项,缩减利用率不高的线程池大小。 …… 该参数控制着整个 Go 进程能使用的 CPU 核心数量,默认情况下为当前机器或者 cgroups 的 CPU 数量。 …… Go 运行时会定期使用一定比例的线程进行 GC 等后台工作。在混合部署模式下,如果不对这一参数进行限制,GC 等后台操作会过多占用 CPU 资源。