知识卡片
Hash分区分散写热点
对主键做 Hash 或 Key 分区,可以把递增主键的插入分散到多个分区。每个分区有自己的一组 Region,通常分布在不同 TiKV 节点上,插入因此并行进行。例如 PARTITION BY KEY (id) PARTITIONS 16。
代价有三点:
- 每个分区独立建 Region,Region 总数增加;
- 不按分区键过滤的查询无法裁剪,要在所有分区上扫描或查索引,coprocessor 任务增多,例如按 serial_no 查询;
- 补救办法是建全局索引,如 ADD UNIQUE INDEX(serial_no, id) GLOBAL。全局索引本会拖慢 DROP PARTITION,但 Hash 和 Key 分区不支持 DROP PARTITION,所以这一代价在此场景下不成问题。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 8 处
- 库表设计 · 查看原书依据
为缓解这些问题,可以使用分区表。对主键应用哈希或 Key 分区,可以将插入操作分散到多个分区和 Region,从而减少单个 Region 的热点争用。
- 库表设计 · 查看原书依据
TiDB 对主键或被索引列应用哈希或 Key 函数,将表和索引拆分为多个分区。
- 库表设计 · 查看原书依据
每个分区有自己的 Region 集,通常分布在不同的 TiKV 节点上。
- 库表设计 · 查看原书依据
插入操作并行分布在多个 Region 上,从而改善负载平衡与写入吞吐。
- 库表设计 · 查看原书依据
如果具有 AUTO_INCREMENT 主键的表发生大量批量插入并出现写热点,请对主键应用哈希或 Key 分区以更均匀地分布写入负载。
- 库表设计 · 查看原书依据
因为 TiDB 会为每个分区创建独立的 Region,所以将非分区表转换为分区表会增加 Region 总数。
- 库表设计 · 查看原书依据
未按分区键过滤的查询无法使用分区裁剪。TiDB 必须扫描所有分区,或在所有分区上执行索引查找,这会增加 coprocessor 任务数并降低性能。 例如,下面的查询未使用分区键 (id),可能会出现性能下降:
- 库表设计 · 查看原书依据
为了减少未使用分区键查询的扫描开销,需要创建全局索引。尽管全局索引会降低 DROP PARTITION 的速度,但哈希和 Key 分区表不支持 DROP PARTITION,因此全局索引在这种场景中是实际的解决方案,因为这些分区通常不会被截
参考来源
- 位置:《TiDB 最佳实践(v8.5)》第02章《库表设计》·《使用 TiDB 分区表的最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch02.xhtml;片段 n02-03;阅读段落 244,253,254,255,257,266,267,268)(来源项目:book-sources;内容对应 docs-cn release-8.5)
- 结论依据:原文对Hash分区分散写热点给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。
- 原始内容:为缓解这些问题,可以使用分区表。对主键应用哈希或 Key 分区,可以将插入操作分散到多个分区和 Region,从而减少单个 Region 的热点争用。 …… TiDB 对主键或被索引列应用哈希或 Key 函数,将表和索引拆分为多个分区。 …… 每个分区有自己的 Region 集,通常分布在不同的 TiKV 节点上。 …… 插入操作并行分布在多个 Region 上,从而改善负载平衡与写入吞吐。 …… 如果具有 AUTO_INCREMENT 主键的表发生大量批量插入并出现写热点,请对主键应用哈希或 Key 分区以更均匀地分布写入负载。 …… 因为 TiDB 会为每个分区创建独立的 Region,所以将非分区表转换为分区表会增加 Region 总数。 …… 未按分区键过滤的查询无法使用分区裁剪。TiDB 必须扫描所有分区,或在所有分区上执行索引查找,这会增加 coprocessor 任务数并降低性能。 例如,下面的查询未使用分区键 (id),可能会出现性能下降: …… 为了减少未使用分区键查询的扫描开销,需要创建全局索引。尽管全局索引会降低 DROP PARTITION 的速度,但哈希和 Key 分区表不支持 DROP PARTITION,因此全局索引在这种场景中是实际的解决方案,因为这些分区通常不会被截