知识卡片

普通读书笔记卡 · 2931.a.1.c

百万表的内存规划

理解等级:中级

单集群表数量超过百万时,TiDB 的内存主要花在几类缓存和连接上(均为原文实测值):

来源 实测占用
Infoschema 缓存(表元数据) 全量缓存 100 万张表约 2.4 GiB,与 SQL 涉及的表数量成线性
Statistics 缓存 对 10 万张表执行简单 IndexRangeScan 查询约 3.96 GiB
空闲连接 20 万个约 30 GiB,内存与连接数基本成线性
会话级 Prepared Plan Cache 40 万条执行计划约 5 GiB;长期不 DEALLOCATE 会持续累积

因此建议 TiDB 在 100 万张表时用 32 GiB 以上内存,300 万张表时用 64 GiB 以上;大内存还能提高缓存命中率,并缓解 Go GC 带来的性能波动。缓存上限分别用 tidb_schema_cache_size 和 tidb_stats_cache_mem_quota 调整;连接多时还要调高 token-limit(默认 1000)。TiKV 建议 8 vCPU、32 GiB 以上,PD 建议 8 CPU、16 GiB 以上。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 10 处

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第05章《性能调优》·《SaaS 多租户场景下处理百万张表的最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch05.xhtml;片段 n05-01;阅读段落 9,10,11,13,14,18,19,32,33,34)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文对百万表的内存规划给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。 - 原始内容:100 万张表:使用 32 GiB 或更高内存。 …… 300 万张表:使用 64 GiB 或更高内存。 …… 高内存规格的 TiDB 实例可以为 Infoschema、Statistics 和执行计划缓存分配更多的缓存空间,提高缓存命中率,从而提升业务性能。同时,更大的内存可以缓解 TiDB GC 带来的性能波动和稳定性问题。 …… TiKV:8 vCPU 和 32 GiB 或更高内存。 …… PD:8 CPU 和 16 GiB 或更高内存。 …… 从 TiDB v8.4.0 开始,TiDB 在执行 SQL 语句时,会按需将 SQL 语句涉及的表信息加载到 Infoschema 缓存中。 …… TiDB 在执行 SQL 语句时,也会按需将相关表的统计信息加载到 Statistics 缓存中。 …… 调高 TiDB 的配置项 token-limit(默认值为 1000)以支持更多并发请求。 …… TiDB 内存使用量与连接数基本上呈线性关系。在实际测试中,20 万个空闲连接将使 TiDB 进程增加约 30 GiB 内存。建议根据实际连接数调整 TiDB 内存规格。 …… 使用 PREPARED 语句时,每个连接都会维护一个会话级的 Prepared Plan Cache。如果长时间未执行 DEALLOCATE 预编译语句,可能导致缓存中的计划数量过多,增加内存消耗。