知识卡片
新Range分区的读写热点
Range 分区表新增分区时会出现两种临时热点:
- 读热点:建表时每个分区各有一个空 Region,长时间没有写入时,TiDB 可能把多个空分区的 Region 合并成一个。查询不按分区键过滤时,执行计划显示 partition:all,所有分区都要扫描,这个合并后的 Region 就被反复扫描。
- 写热点:按时间列分区时,流量会转移到新分区,而新分区最初只有一个 Region,位于某个 TiKV 节点。该节点要同时处理应用写入和 Region 拆分;初始流量很高时,CPU 或 I/O 不足以及时拆分和打散,写入长时间集中在一处,可能触发流控,导致 QPS 骤降、延迟和 CPU 升高,波及整个集群。
两者都源于新分区的 Region 太少,所以解法是提前预切分并阻止空 Region 合并,见 [[非聚簇分区表预切分步骤]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 7 处
- 库表设计 · 查看原书依据
在 Range 分区表中,如果查询未按分区键过滤,新创建的空分区可能成为读热点。
- 库表设计 · 查看原书依据
默认情况下,TiDB 在创建表时为每个分区创建一个空 Region。如果一段时间内没有写入数据,TiDB 可能会将多个空分区的 Region 合并为单个 Region。
- 库表设计 · 查看原书依据
当查询未按分区键过滤时,TiDB 会扫描所有分区,执行计划中会显示为 partition:all。因此,包含多个空分区的单个 Region 会被反复扫描,导致读热点。
- 库表设计 · 查看原书依据
使用基于时间的列作为分区键,当流量转移到新分区时可能产生写热点。
- 库表设计 · 查看原书依据
在 TiDB 中,新创建的分区最初只有单个 Region 位于某个 TiKV 节点。所有写入都会定向到该单个 Region,直到其拆分并重新分布数据。在此期间,TiKV 节点需要同时处理应用写入和 Region 拆分任务。
- 库表设计 · 查看原书依据
如果新分区的初始写入流量非常高,TiKV 节点可能没有足够资源(如 CPU 或 I/O)来及时拆分和打散 (Scatter) Region,导致写入在较长时间内集中在同一节点。
- 库表设计 · 查看原书依据
这种不平衡可能触发 TiKV 节点的流控,导致 QPS 急剧下降、写入延迟上升和 CPU 利用率升高,从而影响整个集群性能。
参考来源
- 位置:《TiDB 最佳实践(v8.5)》第02章《库表设计》·《使用 TiDB 分区表的最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch02.xhtml;片段 n02-03;阅读段落 272,274,276,278,280,281,283)(来源项目:book-sources;内容对应 docs-cn release-8.5)
- 结论依据:原文对读热点和写热点分别给出“根本原因”和“影响”两段说明。
- 原始内容:在 Range 分区表中,如果查询未按分区键过滤,新创建的空分区可能成为读热点。 …… 默认情况下,TiDB 在创建表时为每个分区创建一个空 Region。如果一段时间内没有写入数据,TiDB 可能会将多个空分区的 Region 合并为单个 Region。 …… 当查询未按分区键过滤时,TiDB 会扫描所有分区,执行计划中会显示为 partition:all。因此,包含多个空分区的单个 Region 会被反复扫描,导致读热点。 …… 使用基于时间的列作为分区键,当流量转移到新分区时可能产生写热点。 …… 在 TiDB 中,新创建的分区最初只有单个 Region 位于某个 TiKV 节点。所有写入都会定向到该单个 Region,直到其拆分并重新分布数据。在此期间,TiKV 节点需要同时处理应用写入和 Region 拆分任务。 …… 如果新分区的初始写入流量非常高,TiKV 节点可能没有足够资源(如 CPU 或 I/O)来及时拆分和打散 (Scatter) Region,导致写入在较长时间内集中在同一节点。 …… 这种不平衡可能触发 TiKV 节点的流控,导致 QPS 急剧下降、写入延迟上升和 CPU 利用率升高,从而影响整个集群性能。