知识卡片
百万表的内存规划
单集群表数量超过百万时,TiDB 的内存主要花在几类缓存和连接上(均为原文实测值):
| 来源 | 实测占用 |
|---|---|
| Infoschema 缓存(表元数据) | 全量缓存 100 万张表约 2.4 GiB,与 SQL 涉及的表数量成线性 |
| Statistics 缓存 | 对 10 万张表执行简单 IndexRangeScan 查询约 3.96 GiB |
| 空闲连接 | 20 万个约 30 GiB,内存与连接数基本成线性 |
| 会话级 Prepared Plan Cache | 40 万条执行计划约 5 GiB;长期不 DEALLOCATE 会持续累积 |
因此建议 TiDB 在 100 万张表时用 32 GiB 以上内存,300 万张表时用 64 GiB 以上;大内存还能提高缓存命中率,并缓解 Go GC 带来的性能波动。缓存上限分别用 tidb_schema_cache_size 和 tidb_stats_cache_mem_quota 调整;连接多时还要调高 token-limit(默认 1000)。TiKV 建议 8 vCPU、32 GiB 以上,PD 建议 8 CPU、16 GiB 以上。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 10 处
- 性能调优 · 查看原书依据
100 万张表:使用 32 GiB 或更高内存。
- 性能调优 · 查看原书依据
300 万张表:使用 64 GiB 或更高内存。
- 性能调优 · 查看原书依据
高内存规格的 TiDB 实例可以为 Infoschema、Statistics 和执行计划缓存分配更多的缓存空间,提高缓存命中率,从而提升业务性能。同时,更大的内存可以缓解 TiDB GC 带来的性能波动和稳定性问题。
- 性能调优 · 查看原书依据
TiKV:8 vCPU 和 32 GiB 或更高内存。
- 性能调优 · 查看原书依据
PD:8 CPU 和 16 GiB 或更高内存。
- 性能调优 · 查看原书依据
从 TiDB v8.4.0 开始,TiDB 在执行 SQL 语句时,会按需将 SQL 语句涉及的表信息加载到 Infoschema 缓存中。
- 性能调优 · 查看原书依据
TiDB 在执行 SQL 语句时,也会按需将相关表的统计信息加载到 Statistics 缓存中。
- 性能调优 · 查看原书依据
调高 TiDB 的配置项 token-limit(默认值为 1000)以支持更多并发请求。
- 性能调优 · 查看原书依据
TiDB 内存使用量与连接数基本上呈线性关系。在实际测试中,20 万个空闲连接将使 TiDB 进程增加约 30 GiB 内存。建议根据实际连接数调整 TiDB 内存规格。
- 性能调优 · 查看原书依据
使用 PREPARED 语句时,每个连接都会维护一个会话级的 Prepared Plan Cache。如果长时间未执行 DEALLOCATE 预编译语句,可能导致缓存中的计划数量过多,增加内存消耗。