此笔记位置已失效,请从目录继续阅读。
全书导读
这本电子书由 PingCAP 在线文档「最佳实践」目录离线生成,内容对应 docs-cn 的 release-8.5 分支,共 5 章 16 篇。它不是循序渐进的教材,而是一组面向使用者的专题:每篇围绕一个具体场景,先说明 TiDB 内部为什么会出现某种现象,再给出配置、SQL 或运维上的做法。
阅读时要区分两层内容。一层是可迁移的机制:按 Key 范围切分 Region、Raft 多数派复制、在线 DDL 的多版本状态、PD 的打分调度等,它们解释了“为什么这样做”。另一层是与版本强相关的参数、默认值和实测数字,例如 v8.4.0 调整的 Region 默认大小、v8.5.4 才支持的非唯一全局索引。后者只对文中注明的版本和测试环境成立,用到生产前要按目标版本核对。部分篇章写于较早版本(如 PD 调度一篇基于 3.0),其中的原理仍适用,具体参数名与默认值可能已变化。
全书主线
全书反复回到一个事实:TiDB 把表和索引编码成有序的 KV,再按 Key 范围切成 Region,由 Raft 复制、由 PD 调度。很多“最佳实践”都是这个设计的直接推论。
第一条推论是热点。相邻的 Key 落在同一个 Region,单调递增的主键、时间索引、新建的表、新增的 Range 分区,都会把写入压到一个 Region 上;解法总是让写入分散到多个 Region,或者提前把 Region 切好、打散。第二条推论是规模成本。Region、表、连接、索引越多,Raftstore 心跳、PD 元信息、TiDB 缓存的开销越大,因此需要合并小 Region、加大 Region、减少无用索引、给缓存留足内存。第三条推论是隔离与取舍:分区表、全局索引、Follower/Stale Read、只读节点、TiFlash 都是在一致性、延迟、DDL 效率和运维复杂度之间换取某种收益。读懂这三条线,就能把零散的参数建议还原成可以推理的判断。
第01章 使用概览
第一章只有一篇总览,按“基本机制 → 使用场景 → 适用场景”展开。它先介绍 Raft、分布式事务、数据分片、SQL 到 KV 的映射和二级索引,再据此解释写入、删除、查询、隔离和观测的做法。后面各章的很多专题,都是这里某个机制的展开。
《TiDB 最佳实践》
TiDB 兼容 MySQL 协议和语法,但由于数据分布在多台机器上、事务要跨节点提交,一些在单机 MySQL 上合理的用法在 TiDB 上会变慢或出错。这篇总览先解释几项底层机制,再用它们推导具体做法。
底层数据用 Raft 复制,写入多数副本即成功,所以三副本的写延迟取决于较快的两个副本,这让两地三中心成为可能,但跨机房带宽和延迟仍是硬约束。事务方面,乐观事务在提交时才检测冲突,适合冲突少的负载;悲观事务在执行时加锁,适合冲突多的负载。两阶段提交加 Raft 复制使大事务代价很高,因此有条数和大小限制,实践中应分批写入。
数据按 Key 范围切成 Region,PD 以 Region 为单位调度。一行和一条索引分别编码成以 TableID 或 TableID+IndexID 为前缀的 Key,同一表或同一索引的数据在 Key 空间相邻,连续写入递增的值就会形成热点。二级索引是全局的,查询可能先查索引再回表,覆盖索引和整数主键可以避免回表;索引越多写入越慢,组合索引应把等值列放前面。
在使用层面,删除大量数据要按细化的范围分批,避免前面的删除标记拖慢后面的删除;TP 和 AP 负载可以分到不同 tidb-server,彻底隔离则用 TiFlash;状态观测依靠监控、日志和 TiDB Dashboard。最后,TiDB 最适合数据量超出单机、需要强一致和灾备、访问没有明显热点的场景。
Raft多数派写入:Raft 要求每次写入落到多数副本后才返回成功。
乐观与悲观事务的选择:乐观事务只在提交时检测冲突,有冲突就重试,之前做过的操作全部作废。
大事务为何受限:分布式事务需要两阶段提交,底层还要经 Raft 复制。
Region范围分片与调度:TiKV 按 Key 的范围自动分片:每个 Region 是从 StartKey 到 EndKey 的左闭右开区间,其中的数据量超过阈值就自动分裂。
SQL到KV的映射与热点:TiDB 把一行数据映射为一个 KV,Key 以 TableID 为前缀、行 ID 为后缀;把一条索引映射为一个 KV,Key 以 TableID+IndexID 为前缀、索引值为后缀。
二级索引的写入代价:每增加一个索引,插入一行就要多写一个 KV,所以索引越多写入越慢、占用空间越大。
组合索引的列顺序:适合建索引的列有两类:区分度高、能显著减少过滤后行数的列;多个查询条件同时出现时,可以建组合索引,并把等值条件的列放在前面。
回表与覆盖索引:TiDB 的二级索引是全局索引,索引与表数据不一定在同一个分片上。
查询并发度与有序返回:用 tidb_distsql_scan_concurrency 等变量调整扫描和回表并发;要求按索引顺序返回时,提高并发难以降低延迟。
避免索引逆序扫描:TiDB 支持对索引做逆序扫描,但速度比顺序扫描慢,通常慢约 20%;数据频繁修改、MVCC 版本较多时会更慢。
分批删除大量数据:删除大量数据时,用 delete from t where … limit 5000 循环执行,以 Affected Rows 等于 0 作为结束条件,避免一个大事务。
TP与AP请求隔离:混合负载可在语句、计算节点和存储三个层面隔离,彻底隔离需把 OLAP 放到 TiFlash。
集群状态的观测入口:通过监控、日志和 TiDB Dashboard 三条途径了解集群状态。
TiDB的适用场景:TiDB 适合数据量超出单机、不想分库分表、访问无明显热点、需要强一致与灾备或实时 HTAP 的场景。
原书依据 · 35 处
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
- 使用概览 · 查看原书依据
第02章 库表设计
第二章讨论库表设计,五篇分别处理 DDL、UUID 主键、分区表、多列索引和索引治理。共同的问题是:表结构和索引的选择,如何同时影响查询路径、写入分布和后续变更的代价。
《DDL 语句的执行原理及最佳实践》
TiDB 的 DDL 全部在线执行,不阻塞业务读写。按是否需要处理数据,DDL 分为只改元数据的逻辑 DDL 和需要重组数据的物理 DDL;前者几乎没有代价,后者(如 ADD INDEX)要扫描全表并写入新数据,是 DDL 影响业务的主要来源。
集群通过 etcd 选出唯一的 DDL Owner 执行所有 DDL,Owner 宕机后会重新选举。在线变更的关键是在“变更前”和“变更后”之间插入多个相互兼容的小版本状态,允许不同节点暂时处在相邻版本上,从而在元数据同步期间仍保证事务正确;ADD INDEX 会依次经过 absent、delete only、write only、write reorg、public。v6.2.0 起,Owner 会先判断 DDL 之间是否相关,不相关的任务可以并行,不再严格先入先出。
实践上,用 tidb_ddl_reorg_worker_cnt 和 tidb_ddl_reorg_batch_size 在回填速度与业务影响之间取舍,并在 write reorg 阶段观察集群指标;建大量表时并发发送请求;多项变更合并到一条 ALTER。出现阻塞或需要干预时,用 ADMIN SHOW DDL 系列命令查看,用 CANCEL、PAUSE、RESUME 控制任务,用 mysql.tidb_mdl_view 找出阻塞 DDL 的查询。
逻辑DDL与物理DDL:TiDB 只支持在线 DDL;只改元数据的逻辑 DDL 几乎无代价,重组数据的物理 DDL 是影响业务的主要来源。
DDL Owner的选举与职责:同一时间整个集群只有一个 TiDB 节点担任 DDL Owner,只有它启动的 worker 能处理 DDL 任务。
在线DDL的小版本状态:在线 DDL 不在“变更前”和“变更后”之间一步切换,而是在两者之间插入多个相互兼容的小版本状态。
并发DDL的相关性判断:v6.2.0 之前,Owner 每次只能执行一个同类型(逻辑或物理)的 DDL;只有 general 和 add index 两个队列,并严格先入先出,常出现“非预期”的阻塞。
物理DDL的速度与负载:物理 DDL 回填时,用 tidb_ddl_reorg_worker_cnt 和 tidb_ddl_reorg_batch_size 在完成速度与业务影响之间取舍,可在执行中动态调整。
快速建表与合并变更:单个建表操作约 50 毫秒,受框架限制可能更久。
DDL任务的查看与控制:用 ADMIN SHOW DDL 系列命令查看任务,用 CANCEL、PAUSE、RESUME 控制任务,用 mysql.tidb_mdl_view 找出阻塞 DDL 的查询。
《将 UUID 用作主键的最佳实践》
UUID 适合在多个系统中独立生成主键,也不易被枚举。存储时应把 36 字符的文本转成 16 字节二进制。需要注意的是 UUID_TO_BIN() 的 swap_flag 参数:对照实验显示,开启它的表写入集中到单个 Region,形成热点,因此在 TiDB 中不应设置该参数。MySQL 8.0 提供同样的转换函数,语法可以兼容。
UUID主键的取舍:UUID 主键可在多个系统独立生成、普遍受支持且不易被枚举,存储方式与热点问题需另行处理。
UUID的二进制存储:UUID 文本是 36 个字符的字符串,例如 ab06f63e-8fe7-11ec-a514-5405db7aad56。
UUID位序交换的热点:UUID_TO_BIN() 可以接收第二个参数 swap_flag,用于调换二进制中各字段的顺序。
《使用 TiDB 分区表的最佳实践》
分区表的价值来自三方面:分区裁剪让带分区键的查询只扫描相关分区;DROP PARTITION 能以元数据操作快速清理历史数据;Hash 或 Key 分区能把递增主键的写入分散到多个 Region。但它也带来新的成本,这篇用多组实测数据讨论如何取舍。
查询方面,最大的风险是查询不带分区键。365 个分区的测试中,本地索引要逐分区查找,耗时 108 ms,远高于非分区表的 12.6 ms;全局索引把耗时降到 14.8 ms,但回表任务仍多。因此多数 OLTP 负载优先用设计良好的非分区表,只有查询都能裁剪时才放心用本地索引,关键查询无法裁剪时用全局索引。
清理方面,DROP PARTITION 几乎即时完成,而 TTL 需要逐行扫描删除,高负载下耗时长且拖低 QPS。前提是没有全局索引:带全局索引时删除一个分区要 76 秒,而只有本地索引时是 0.52 秒,因为全局索引的条目要同步更新。
写入方面,递增主键会把新行追加到“最右侧”的 Region,加节点也无济于事;Hash/Key 分区能分散写入,代价是 Region 增多、无分区键的查询变慢,可用全局索引补救。Range 分区还有自己的问题:新分区起初只有一个 Region,会形成临时写热点;长期空闲的空分区 Region 被合并后,不带分区键的查询又会形成读热点。对策是用 SHARD_ROW_ID_BITS、PRE_SPLIT_REGIONS、merge_option=deny 和按真实数据定边界的 SPLIT 提前预切分。非聚簇分区表、聚簇分区表、聚簇非分区表在预切分、读性能和数据清理上各有取舍。
最后,1.2 亿行的表在分区与非分区之间转换时,IMPORT INTO 约 17 分钟最快,Pipelined DML 约 59 分钟,在线 DDL 约 2 小时 50 分钟。
分区裁剪:分区裁剪(Partition Pruning)指 TiDB 根据查询的过滤条件,找出可能包含匹配数据的分区,只扫描这些分区,从而减少 I/O 和计算。
本地索引与全局索引:分区表默认使用本地索引(Local Index):每个分区各自维护一组索引。
分区表索引的选择:查询不含分区键时本地索引要逐分区查找、明显变慢;据此在非分区表、本地索引和全局索引之间选择。
创建全局索引:用 ALTER TABLE … GLOBAL 或建表时内联定义全局索引;必须显式写 GLOBAL,v8.5.4 起才支持非唯一列。
TTL与删分区的清理对比:清理历史数据有两种方式:TTL 按数据存活时间逐行扫描删除;DROP PARTITION 一次删除整个分区,只涉及元数据变更。
全局索引拖慢删分区:对一张 365 个分区、约 10 亿行的表删除一个分区:有全局索引时耗时 76.02 秒,只有本地索引时只需 0.52 秒。
单调递增键的写热点:热点指读写流量在 Region 之间分布不均。
Hash分区分散写热点:对主键做 Hash 或 Key 分区,可以把递增主键的插入分散到多个分区。
新Range分区的读写热点:Range 分区表新增分区时,空 Region 被合并会形成读热点,新分区只有一个 Region 会形成写热点,两者都源于 Region 太少。
三种表类型的取舍:非聚簇分区表、聚簇分区表、聚簇非分区表在预切分、读性能、写扩展和按分区清理上各有取舍,按读延迟与运维成本的优先级选择。
非聚簇分区表预切分步骤:用 SHARD_ROW_ID_BITS、PRE_SPLIT_REGIONS、merge_option=deny 和按真实数据确定边界的 SPLIT,提前预切分新分区。
分区与非分区表的转换:1.2 亿行的表转换时,IMPORT INTO 约 17 分钟最快,Pipelined DML 约 59 分钟,在线 DDL 约 2 小时 50 分钟。
《多列索引优化最佳实践》
多列索引按字典序组织:先按第一列排序,相同时再按第二列,依此类推。因此前面的列取等值时,后面列的条件仍能在索引上收窄出一段连续范围,(city, bedrooms, price) 能把“北京两居室、租金低于 2000”精确定位到一小段索引。
TiDB 优化器有一个范围推导组件,它为每个可用索引计算扫描范围,再由表访问组件比较代价,选出最优路径。条件之间用 OR 连接时,各分支的范围取并集,重叠的合并、不重叠的保留为多段;用 AND 连接时取交集。行表达式如 (a1, b1) > (1, 10) 会被拆成若干 OR/AND 组合再推导,5 亿行的表可以只访问约 4000 行,而 MySQL 对这类条件需要全表扫描。该优化要求 v8.3.0 及以上并开启 Fix Control 54337。
多列索引的字典序:在 2000 万条房源中找租金低于 2000 元的房源,只在 price 上建索引时,仍要扫描大量行(原文写约 1400 万行,但与其“70% 房源高于 2000 元”的假设不符,按该假设应约为 600 万行)。
范围推导与代价选择:优化器的范围推导组件根据查询条件和索引列,为每个可用索引生成索引范围;表访问组件再估算每条访问路径的代价,在全表扫描和各个索引扫描之间选代价最低者。
OR条件的范围合并:OR 条件的各分支分别生成范围,重叠的合并为一段,不重叠的保留为多段,避免退化为全表扫描。
行表达式的范围推导:行表达式先拆成 OR/AND 组合再逐支推导范围,5 亿行的表只需访问约 4000 行,而 MySQL 需要全表扫描。
《管理索引和识别未使用索引的最佳实践》
索引会随业务演进而失效:有的不再被优化器选择却仍拖慢写入,有的仍在使用但扫描行数过多。v8.0.0 起,TIDB_INDEX_USAGE 记录每个索引的查询次数、扫描行数和全索引扫描比例,CLUSTER_TIDB_INDEX_USAGE 汇总各节点的数据,sys.schema_unused_indexes 直接列出自重启以来没用过的索引。这些数据最多延迟 5 分钟,并且只在内存中,节点重启即丢失,所以观察期要足够长,必要时导出快照。
“没用过”不等于可以删:月报、低频批处理、临时排障查询都可能依赖低频索引。安全的做法是先把索引设为不可见,它仍被维护、随时可恢复,再观察至少一个完整业务周期。此外还要合并前缀重叠的冗余索引、提高低选择性索引的过滤效果,并在负载变化后定期复审。
未使用与低效索引:未使用索引仍拖慢写入、占用存储,低效索引扫描过多数据,二者在分布式数据库中影响会放大,需要定期审计。
索引使用统计的解读:从 v8.0.0 起,INFORMATION_SCHEMA.TIDB_INDEX_USAGE 记录每个索引的使用情况(v8.4.0 起也包含聚簇表的主键)。
集群级索引使用视图:每个 TiDB 节点只追踪本地的索引使用情况,而不同节点的查询负载可能不同:某个索引在部分节点上看似没用,在其他节点上可能至关重要。
未使用索引视图的局限:sys.schema_unused_indexes 基于 TIDB_INDEX_USAGE,列出自上次 TiDB 重启以来查询次数为零的索引,省去手工分析。
不可见索引验证删除:直接删除索引有风险,可以先执行 ALTER TABLE … ALTER INDEX idx INVISIBLE,把索引设为不可见:索引仍然存在、结构不变,相关的优化器统计信息继续维护,但优化器会忽略它;需要时可随时快速恢复,无需重建。
合并冗余与提高选择性:除了删除无用索引,还要合并前缀重叠的冗余索引、提高低选择性索引的过滤效果、控制索引数量并定期复审。
原书依据 · 201 处
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 性能调优 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
- 库表设计 · 查看原书依据
第03章 集群部署
第三章讨论部署:公有云上的磁盘、流量和 PD 瓶颈,资源紧张时的三节点混合部署,以及三数据中心下的就近读取。主线是让资源配置与 TiDB 各组件的实际 I/O、CPU 和网络特征相匹配。
《在公有云上部署 TiDB 的最佳实践》
公有云的磁盘和网络按吞吐与流量计费,这篇给出五项针对性调整。
云盘吞吐有限时,RocksDB 的写放大会让 compaction 积压并触发流控。平均行大于 512 字节时启用 Titan,较小时把所有压缩级别设为 zstd。Raft Engine 相当于 WAL,同步写入要频繁 fdatasync,与数据盘共用时会互相排队;给它一块独立的中端盘(AWS gp3、GCP 200 GB pd-ssd、Azure Premium SSD v2),在 AWS 测试中以 0.4% 的成本换来 17.5% 的 QPS 提升和 45.6% 的 p99 延迟下降。
跨可用区部署时,用 closest-replicas 等 Follower Read 设置让读请求优先访问本区副本,并让 TiFlash 在同区内完成数据交换。Google Cloud 的实时迁移会让虚拟机暂时变慢,可用官方脚本在迁移前转移 TiDB 节点、TiKV Leader 和 PD Leader。最后,超大规模集群中唯一的 PD Leader 可能因 TSO 请求过多而耗尽 CPU,缩短 TSO 物理时间更新间隔、开启 TiDB 端 TSO 攒批、加大 Region,可以把 CPU 从约 4600% 降到 1400%。
云盘上降低压缩IO:云上 EBS 等磁盘提供的 I/O 吞吐通常有限,RocksDB 的写放大会让磁盘吞吐成为瓶颈。
Raft Engine专用盘:Raft Engine 在 TiKV 中相当于传统数据库的预写日志(WAL)。
Raft Engine选盘:各云厂商为 Raft Engine 推荐的中端与高端磁盘;中端盘通常已足够,pd-ssd 需按 IOPS 需求分配 200 GB。
降低跨可用区流量:跨多个可用区部署 TiDB 时,跨区数据传输会推高成本。
应对云主机实时迁移:Google Cloud 的实时迁移能在主机间迁移虚拟机而不停机,但迁移期间虚拟机性能可能明显下降,拖慢 TiDB 集群的查询。
大集群PD的TSO瓶颈:集群中只有一个活跃的 PD Server(Leader),负责分配 TSO(Timestamp Oracle,全局时间戳)和处理请求,因此它可能限制集群扩展。
《三节点混合部署的最佳实践》
三台机器上各混合部署 TiDB、TiKV、PD,是资源有限时的折中方案。默认配置假设组件独占资源充足的机器,混合部署下线程池和后台任务会争抢 CPU 与磁盘,TPC-C 测试中 QPS 明显抖动。
调整的思路是先跑真实负载、观察各线程池利用率,再缩减用不满的部分:前台的 readpool、gRPC、scheduler 线程池按利用率目标调小;后台的 RocksDB compaction 线程和磁盘速率、GC 写入速率加以限制,并以是否出现 Write Stall、MVCC 版本是否堆积来判断是否过紧;TiDB 用 performance.max-procs 限制 Go 进程的 CPU。PD 和 TiKV 应使用不同磁盘。这样以少量峰值性能换取稳定。
混合部署的资源配额:成本敏感、性能要求不高时,可以在三台机器上各混合部署 1 个 TiDB、1 个 TiKV、1 个 PD。
混合部署的线程池调小:混合部署时按利用率目标调小 readpool、gRPC 和 scheduler 线程池,并限制 TiDB 的 Go 进程 CPU。
TiKV后台任务限流:TiKV 后台持续进行 compaction、flush 和 MVCC 旧版本清理,默认配置为应对大流量写入分配了较多资源。
《在三数据中心下就近读取数据》
三数据中心部署时,强一致读必须访问 Leader,而 Leader 常不在查询发起的中心,导致跨中心延迟。如果业务能接受读到稍旧的数据,可以用 Stale Read 读取指定时间点的历史版本,并配合 zone 标签和 closest-replicas,让请求落到本中心的副本上。前提是同一中心的 TiDB 和 TiKV 配置相同的 zone 标签。
Stale Read就近读取:三数据中心部署时,一个 Region 的三个副本分别位于三个数据中心。
原书依据 · 67 处
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 集群部署 · 查看原书依据
- 性能调优 · 查看原书依据
第04章 运维管理
第四章是日常运维中的三个工具性专题:用 HAProxy 均衡 TiDB Server,用只读存储节点隔离低优先级负载,用 Grafana 和 Prometheus 读懂监控。
《HAProxy 在 TiDB 中的最佳实践》
HAProxy 在 TCP 层为多个 TiDB Server 做负载均衡:客户端连接浮动 IP,HAProxy 按 leastconn 把连接分给当前连接最少的 TiDB,并通过周期性健康检查剔除不可用节点。leastconn 适合 SQL 这样的长连接。文中还给出了硬件下限、源码编译安装、配置模板、启动和停止方法;要在 TiDB 中看到客户端真实 IP,需要启用 PROXY 协议并在 TiDB 侧配置允许的网段。建议使用 v2.2 及以上版本。
用HAProxy均衡TiDB:HAProxy 提供 TCP 协议下的负载均衡:客户端连接 HAProxy 提供的浮动 IP,请求被分发到多个 TiDB Server,实现 TiDB Server 层的负载均衡。
HAProxy部署与运维要点:HAProxy 的硬件下限、安装、启动、平滑替换,以及用 PROXY 协议查看客户端来源 IP。
《只读存储节点最佳实践》
备份、分析、测试等对延迟不敏感的负载会与线上业务争用 TiKV。可以给部分 TiKV 打上以 $ 开头的特殊标签,PD 默认不会往这些节点调度数据;再用 Placement Rules 让每份数据在这些节点上多存一个 learner 副本。之后,会话把 tidb_replica_read 设为 learner、BR 备份加 –replica-read-label,就能只读这些节点,实现物理隔离。注意每个标签只能有一个 learner,否则备份会重复。
只读存储节点隔离负载:备份、分析、测试等对延迟要求较低的流量,可以导向专用的只读 TiKV 节点,与线上重要服务在物理上隔离。
《使用 Grafana 监控 TiDB 的最佳实践》
TiDB 的监控由 Prometheus 从各组件的 HTTP 接口拉取指标、Grafana 展示。pull 模式让 Prometheus 迁移无需重启集群,也能部署两套监控避免单点。读懂面板需要理解表达式:rate 计算 counter 的增长率,sum by 按维度聚合。文中还给出七个实用技巧,包括查看指标的全部维度、在对数和线性坐标间切换、调整 Y 轴基线放大变化、多面板联动、查看历史 PD Leader、添加 Avg 图例,以及直接调用 Prometheus API 生成报表和巡检。
TiDB监控的pull架构:TiDB 的监控由 Prometheus(多维数据模型、查询灵活的时序数据库)采集指标,Grafana 负责分析和可视化。
组件指标与查询表达式:各组件通过 HTTP 暴露指标,面板表达式用 rate 与 sum by 计算,也可直接调用 Prometheus API 取数。
Grafana排查技巧:查看全部维度、切换坐标比例、调整基线、面板联动、查看历史 PD Leader 和添加 Avg 图例等排查技巧。
原书依据 · 40 处
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
- 运维管理 · 查看原书依据
第05章 性能调优
第五章讨论性能调优,覆盖百万张表的多租户场景、高并发批量写入、海量 Region 和 PD 调度。四篇都在处理“数量”带来的压力:表、写入、Region 或调度任务一多,原本隐含的单点就会显现。
《SaaS 多租户场景下处理百万张表的最佳实践》
SaaS 多租户场景下,单集群可能有数百万张表,压力主要来自元数据和连接。TiDB 按需缓存表元数据和统计信息,100 万张表的元数据约需 2.4 GiB,20 万个空闲连接约需 30 GiB,因此 TiDB 要用 32–64 GiB 以上的大内存,并调整缓存上限和 token-limit。大量建表时关闭 split-table 以减少 Region;自动统计信息收集要提高并发,但三个并发变量的乘积不超过 CPU 核数;查询系统表必须带库名、表名等过滤条件,否则可能消耗数 GiB 内存或数十分钟。Stale Read、BR 备份恢复和 Lightning 导入也有对应的内存与模式建议。
百万表的内存规划:元数据缓存、统计信息缓存、空闲连接和执行计划缓存都随数量线性占用内存,百万表时 TiDB 需要 32–64 GiB 以上。
大量建表时少切Region:需要创建大量表(例如 10 万张以上)时,把 TiDB 配置项 split-table 设为 false,可以减少集群的 Region 数量,从而降低 TiKV 的内存压力。
多表统计信息收集并发:v8.4.0 起,tidb_auto_analyze_concurrency 控制自动更新统计信息的并发度。
系统表查询要加过滤:表数量巨大时,不带条件地查询系统表会扫描大量无关数据。
百万表的备份与导入:百万表场景下 BR 实例与 TiKV 需要大内存,日志恢复可调并发,Lightning 按表大小选择物理或逻辑导入。
《TiDB 高并发写入场景最佳实践》
清算、结算等跑批任务会在短时间内高并发写入大量数据。即使主键是随机的,新表在 TiKV 中最初也只有一个 Region,分裂出的新 Region 的 Leader 仍在原节点,要等 PD 发现热点并调度后集群才均衡,这个预热阶段在跑批中应当避免。
办法是提前切分:用 SPLIT TABLE 按数据实际的取值范围把表切成多个 Region 并打散;没有整数主键时,用 SHARD_ROW_ID_BITS 打散隐式行 ID,配合 PRE_SPLIT_REGIONS 建表即预切分;自增整数主键则改为 AUTO_RANDOM。TiDB 不会自动预切分,因为它无法预知数据会落在哪个范围。跑批几乎没有写冲突,还可以关闭 latch 节省内存。
新表单Region的写热点:即使主键随机离散、业务上没有热点,新表在短时间内被高并发批量写入时仍会写入倾斜。
用Split预切分新表:SPLIT TABLE 可在写入前按范围或按值把表切成多个 Region 并打散;TiDB 不自动预切分,因为无法预知数据的取值范围。
打散隐式行ID:表没有主键,或主键不是整数类型时,TiDB 用隐式列 _tidb_rowid 作行 ID,其值基本单调递增,同样会形成写热点。
AUTO_RANDOM替代自增:整数主键使用 AUTO_INCREMENT 时,TiDB 直接把主键值当作 _tidb_rowid,因此无法用 SHARD_ROW_ID_BITS 打散热点。
跑批场景关闭latch:TiDB 2.1 在 SQL 层引入了 latch 机制,在写冲突频繁的场景中提前发现事务冲突,减少提交时写写冲突导致的重试。
《海量 Region 集群调优最佳实践》
TiKV 的 Raftstore 轮询每个 Region,驱动其 Raft 状态机处理读写、日志复制和心跳。Region 越多,处理例行心跳的时间越长,读写请求就会排队,Raftstore CPU 超过 85% 时即成为瓶颈,可通过 Raft store CPU、Propose wait duration、Commit log duration 三项指标判断。
优化有两个方向:减少每个 TiKV 的 Region 数(加实例、开启 Region Merge、加大 Region),或减少每个 Region 的消息数(调大 tick 间隔、开启 Hibernate Region),此外还可以增加 Raftstore 线程和 Raft 连接数。调大 tick 间隔会同步拉长选举超时,使故障检测变慢;Hibernate Region 只让空闲 Region 停止心跳。海量 Region 还会拖慢 PD Leader 切换、PD 路由更新和 Prometheus 查询,相应的改进已在 v3.0 前后落地。
Raftstore的轮询处理:一个 TiKV 实例上有很多 Region,Region 的消息由 Raftstore 模块驱动 Raft 状态机处理,包括读写请求、Raft 日志的持久化与复制、Raft 心跳等。
Raftstore繁忙的判据:Raftstore CPU 超过 85% 即为瓶颈,结合 Propose wait duration 和 Commit log duration 判断。
海量Region的调优方法:从减少单实例 Region 数和减少单 Region 消息数两个方向出发,共有七种调优方法。
调大tick间隔的代价:raft-base-tick-interval 是 Raftstore 驱动每个 Region 的 Raft 状态机的间隔,每到间隔就要发一个 tick 消息。
空闲Region休眠:实际的读写请求不会均匀分布到每个 Region,而是集中在少数 Region 上。
海量Region的周边问题:海量 Region 还会拖慢 PD Leader 切换、PD 路由信息更新和 Prometheus 查询。
《PD 调度策略最佳实践》
PD 的调度分三步:收集 TiKV 上报的 Store 和 Region 心跳,由各调度器在约束下生成 Operator,再由 OperatorController 按并发限制把各步骤下发给 Region Leader。balance-leader 和 balance-region 通过给 Store 打分来均衡请求和存储压力,hot-region-scheduler 分散读写热点,replicaChecker 按 location-labels 保证副本隔离,并在节点下线或故障时补副本,mergeChecker 合并小 Region。
运维时可以通过 Grafana 面板和 pd-ctl 观察 Operator、得分、热点和 Region 健康状况,并用启停调度器、手动添加 Operator、调整 limit 等参数来干预。文中按场景给出排查路径:分布不均时先看得分是否接近,再看 Operator 是否生成、是否执行得慢;下线慢时注意 Leader 集中和容量不足;热点不均分为调度跟不上、单 Region 热点和 PD 识别不到三种情况;Merge 慢时调小合并阈值、处理建表切分造成的空 Region。节点故障时应根据能否恢复调整 max-store-down-time,慢节点可以自动驱逐 Leader。本篇基于 TiDB 3.0 撰写,原理对后续版本仍有参考价值,具体参数应按目标版本核对。
PD调度的三个阶段:PD 调度分为收集心跳、在约束下生成 Operator、经 OperatorController 执行三步。
均衡调度的打分:balance-leader 按 Leader 的 Region Size 之和打分,balance-region 按数据量或剩余空间打分,可用权重调整。
PD的热点调度:热点调度由 hot-region-scheduler 负责:根据 Store 上报的信息,找出一段时间内读或写流量持续超过阈值的 Region,再用与负载均衡类似的方式把它们分散开。
拓扑感知的副本隔离:PD 的 replicaChecker 在后台不断扫描所有 Region,发现副本分布不是最优时,就生成调度替换 Peer,让各副本尽量分散,以保证高可用和容灾。
节点故障后的补副本策略:缩容与故障恢复的处理过程基本相同:缩容是主动把 Store 标为 Offline,PD 把其上的 Region 迁走;故障恢复是 Store 损坏且无法恢复,PD 为缺副本的 Region 在其他节点补齐。
小Region合并条件:删除数据后会留下大量小甚至空的 Region,持续消耗资源。
查看PD调度状态:通过 Grafana 的 Operator、Balance、hotspot、Region health 面板和对应的 pd-ctl 命令观察调度状态。
调整PD调度策略:用 pd-ctl 启停调度器、手动添加 Operator、调整 limit 等参数来干预调度。
分布不均衡的排查路径:先确认确实失衡,再按各 Store 得分是否接近、Operator 是否生成或执行慢,逐步定位原因。
节点下线慢的处理:下线慢时检查调度限额与竞争、Leader 是否集中在待下线节点,以及替代节点的容量。
热点分布不均的三种情况:热点不均分为调度跟不上、单 Region 热点和 PD 识别不到三种情况,各有对应的处理方法。
Region合并慢的处理:Merge 慢时调小合并阈值、加快巡检,并处理建表切分导致的空 Region 和旧版本的统计问题。
慢节点检测与Leader驱逐:TiKV 按磁盘或网络延时为节点打分,慢节点的 Leader 可被自动驱逐;驱逐本身也可能因请求堆积而变慢。
原书依据 · 155 处
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
- 性能调优 · 查看原书依据
跨章综合
把各章放在一起看,热点问题有一条清晰的因果链。第一章说明行与索引按前缀相邻存放;第二章的分区表一篇指出递增主键写入“最右侧” Region;第五章的高并发写入一篇再指出,即使主键随机,新表也只有一个 Region。三处的解法形式不同(Hash 分区、SPLIT 预切分、SHARD_ROW_ID_BITS、AUTO_RANDOM、merge_option=deny),本质都是让写入在开始前就分布到多个 Region、多个节点上。
规模问题同样贯穿多章。表数量(第五章 SaaS)、Region 数量(海量 Region)、连接与索引数量(索引治理)都会转化为内存、心跳和调度开销;对应地,关闭 split-table、加大 Region、开启 Hibernate Region 和 Region Merge、清理无用索引,是在不同层面减少“被管理对象”的数量。
一致性与就近访问之间的取舍出现在部署和运维两章:Follower Read 和 Stale Read 让读请求留在本地可用区或数据中心,只读 learner 节点把低优先级流量与线上隔离,TiFlash 把分析负载移出行存。它们都以放宽“必须读 Leader”为代价,换取延迟、成本或隔离。选择时要先确认业务能接受的数据新鲜度。
最后,书中大量具体数字(耗时、内存、提升比例)来自特定版本和测试环境,适合用来判断数量级和方向,不能直接当作容量规划的承诺值。
发散与实践
读者延伸可以沿两条路线进行:一是回到源码,确认文档描述的 DDL 并发调度和 PD 调度在 release-8.5 代码中如何实现;二是在本地小集群上复现新表写热点,亲眼看到预切分前后的 Region 与 Leader 分布差异。对应的实践计划见概览中的 ideas 链接。计划中的源码映射是本次准备的首轮材料,不代表已经运行数据库或测得性能结果。