知识卡片

普通读书笔记卡 · 4309.a

云盘上降低压缩IO

理解等级:中级

云上 EBS 等磁盘提供的 I/O 吞吐通常有限,RocksDB 的写放大会让磁盘吞吐成为瓶颈。待 compaction 的数据越积越多,会触发流量控制,这说明 TiKV 已没有足够的磁盘带宽处理前台写入。

缓解方法按数据的平均行大小选择:

  • 超过 512 字节:启用 Titan,把 min-blob-size 设为 “512B” 或 “1KB”,blob-file-compression 设为 “zstd”。Titan 是基于 RocksDB 的存储引擎插件,在 value 较大时能减少写放大;代价是主键范围扫描的性能略有下降。
  • 低于 512 字节:Titan 不适用,把默认 Column Family 各层的 compression-per-level 全部设为 “zstd”。
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 6 处

    • 集群部署 · 查看原书依据

      RocksDB 是 TiKV 的存储引擎,负责存储用户数据。出于成本考虑,云上提供的 EBS IO 吞吐量通常比较有限,因此 RocksDB 可能会表现出较高的写放大,导致磁盘吞吐量成为负载的瓶颈。

    • 集群部署 · 查看原书依据

      要缓解由磁盘吞吐量受限引起的瓶颈,你可以通过启用 Titan 来改善性能。如果数据的平均行大小低于 512 字节,Titan 并不适用,此时你可以通过提高所有压缩级别来改善性能。

    • 集群部署 · 查看原书依据

      Titan 是基于 RocksDB 的高性能单机 key-value 存储引擎插件。当 value 较大时,Titan 可以减少 RocksDB 中的写放大。

    • 集群部署 · 查看原书依据

      如果数据的平均行大小超过 512 字节,可以通过启用 Titan,设置 min-blob-size 为 "512B" 或 "1KB",以及设置 blob-file-compression 为 "zstd" 来减少压缩 I/O 流量:

    • 集群部署 · 查看原书依据

      启用 Titan 后,主键范围扫描的性能可能会略有下降。更多信息,请参考 min-blob-size 对性能的影响。

    • 集群部署 · 查看原书依据

      如果数据的平均行大小低于 512 字节,你可以将默认 Column Family 的所有压缩级别设置为 "zstd" 来提高性能,如下所示:

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第03章《集群部署》·《在公有云上部署 TiDB 的最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch03.xhtml;片段 n03-01;阅读段落 6,7,9,10,13,15)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文对云盘上降低压缩IO给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。 - 原始内容:RocksDB 是 TiKV 的存储引擎,负责存储用户数据。出于成本考虑,云上提供的 EBS IO 吞吐量通常比较有限,因此 RocksDB 可能会表现出较高的写放大,导致磁盘吞吐量成为负载的瓶颈。 …… 要缓解由磁盘吞吐量受限引起的瓶颈,你可以通过启用 Titan 来改善性能。如果数据的平均行大小低于 512 字节,Titan 并不适用,此时你可以通过提高所有压缩级别来改善性能。 …… Titan 是基于 RocksDB 的高性能单机 key-value 存储引擎插件。当 value 较大时,Titan 可以减少 RocksDB 中的写放大。 …… 如果数据的平均行大小超过 512 字节,可以通过启用 Titan,设置 min-blob-size 为 "512B" 或 "1KB",以及设置 blob-file-compression 为 "zstd" 来减少压缩 I/O 流量: …… 启用 Titan 后,主键范围扫描的性能可能会略有下降。更多信息,请参考 min-blob-size 对性能的影响。 …… 如果数据的平均行大小低于 512 字节,你可以将默认 Column Family 的所有压缩级别设置为 "zstd" 来提高性能,如下所示: