知识卡片

普通读书笔记卡 · 1756.h.1.b

TiKV后台任务限流

理解等级:中级

TiKV 后台持续进行 compaction、flush 和 MVCC 旧版本清理,默认配置为应对大流量写入分配了较多资源。混合部署时需要限流:

  • rocksdb.max-background-jobs(默认 8)与 rocksdb.max-sub-compactions(默认 3):测试中分别设为 3 和 1,12 小时 TPC-C 无 Write Stall。按负载逐步调低并观察;遇到 Write Stall 先调大前者,仍有问题再把后者设为 2 或 3。
  • rocksdb.rate-bytes-per-sec:限制 compaction 的磁盘流量(默认不限),按磁盘顺序读写速度为前台服务保留带宽,同样以是否出现 Write Stall 判断取值。
  • gc.max_write_bytes_per_sec:限制 GC 清理旧版本的资源使用,减少周期性抖动;可用 tikv-ctl 的 modify-tikv-config 动态调整。

GC 限流的边界:更新频繁的业务中,限得太紧会堆积 MVCC 版本、拖慢读取,需要多次尝试,在性能抖动与性能衰退之间取平衡。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 8 处

    • 集群部署 · 查看原书依据

      除前台任务之外,TiKV 上还会持续地有后台任务进行数据整理和过期数据的清除。默认配置为这些后台任务分配了比较多的资源以应对大流量的写入。

    • 集群部署 · 查看原书依据

      RocksDB 线程池是进行 Compact 和 Flush 任务的线程池,默认大小为 8。这明显超出了实际可以使用的资源,需要限制。

    • 集群部署 · 查看原书依据

      这次测试最终将 rocksdb.max-background-jobs 设置为 3,将 rocksdb.max-sub-compactions 设置为 1。

    • 集群部署 · 查看原书依据

      如果遇到了 Write Stall,可以先调大 rocksdb.max-background-jobs 的取值。

    • 集群部署 · 查看原书依据

      如果还是存在问题,可将 rocksdb.max-sub-compactions 设置为 2 或者 3。

    • 集群部署 · 查看原书依据

      该参数用于限制后台 compaction 任务的磁盘流量。默认配置下没有进行任何限制。为了避免 compaction 挤占前台服务资源,可以根据硬盘的顺序读写速度进行调整,为正常的服务保留足够多的磁盘带宽。

    • 集群部署 · 查看原书依据

      因为 TiDB 使用的是 MVCC 的模型,TiKV 还需要周期性地在后台清除旧版本的数据。当可用资源有限的时候,这个操作会引起周期性的性能抖动。可以用 gc.max_write_bytes_per_sec 来限制这一操作的资源使用。

    • 集群部署 · 查看原书依据

      对于更新频繁的业务场景,限制 GC 流量可能会导致 MVCC 版本堆积,进而影响读取性能。所以这个参数的取值需要进行多次尝试,在性能抖动和性能衰退之间找一个比较平衡的取值。

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第03章《集群部署》·《三节点混合部署的最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch03.xhtml;片段 n03-02;阅读段落 116,119,120,121,122,124,127,131)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文对TiKV后台任务限流给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。 - 原始内容:除前台任务之外,TiKV 上还会持续地有后台任务进行数据整理和过期数据的清除。默认配置为这些后台任务分配了比较多的资源以应对大流量的写入。 …… RocksDB 线程池是进行 Compact 和 Flush 任务的线程池,默认大小为 8。这明显超出了实际可以使用的资源,需要限制。 …… 这次测试最终将 rocksdb.max-background-jobs 设置为 3,将 rocksdb.max-sub-compactions 设置为 1。 …… 如果遇到了 Write Stall,可以先调大 rocksdb.max-background-jobs 的取值。 …… 如果还是存在问题,可将 rocksdb.max-sub-compactions 设置为 2 或者 3。 …… 该参数用于限制后台 compaction 任务的磁盘流量。默认配置下没有进行任何限制。为了避免 compaction 挤占前台服务资源,可以根据硬盘的顺序读写速度进行调整,为正常的服务保留足够多的磁盘带宽。 …… 因为 TiDB 使用的是 MVCC 的模型,TiKV 还需要周期性地在后台清除旧版本的数据。当可用资源有限的时候,这个操作会引起周期性的性能抖动。可以用 gc.max_write_bytes_per_sec 来限制这一操作的资源使用。 …… 对于更新频繁的业务场景,限制 GC 流量可能会导致 MVCC 版本堆积,进而影响读取性能。所以这个参数的取值需要进行多次尝试,在性能抖动和性能衰退之间找一个比较平衡的取值。