此笔记位置已失效,请从目录继续阅读。
全书导读
这是一篇内部技术分享,不是教材。它讲的是把交易查询从 ES 迁到 TiDB:先把一笔交易和资金结果收成宽表,再处理回填、分区、索引、深分页和多列 OR,最后用三阶段灰度和结构化日志验证。
文中的耗时、版本和样本都绑在这次上线和 2026-10-20 那个观察窗口上。SQL 是简化示意。原始观察报告需要登录,没有收进本书。
全书主线
查询慢,不一定慢在数据库里那一次扫描。原链路的开销拆在 ES、关联数据和应用组装三处。宽表把组装提前到写入,查询变简单,但分页、回填和统计收集要承担新的资源成本。
同一条 SQL 的计划还取决于小版本和资源配额。所以迁移的验收不是“TiDB 更快”,而是:结果是否一致、计划是否是预想的那个、执行时有没有在等配额,并且每一步切换都还能退回、还能观察。
第01章 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换
架构调整
原查询要同时付 ES、关联数据和组装三笔开销。新模型把一笔交易和已经算好的资金结果放进同一行,由历史回填、Binlog 和资金 MQ 分别写入。
查询开销分三部分:原查询链路把交易写入 ES 之后,列表还要再取清分等资金信息、用商户缓存组装,详情可能回查原支付交易,导出又是另一条读取和组装链路。
宽表一行整合资金结果:TiDB 宽表以单笔支付、退款或拒付交易为一行。行里的资金结果不是查询时现算的,而是该笔交易已经算好的清分、结算等数据。
三条写入链路分工:同一张宽表有三条写入,职责不同:
数据准备
约 7,000 万行历史数据从两个机房的读库回填,用了 10 天。回填和 ANALYZE 叠在一起时把节点打到 OOM,所以统计收集被挪到凌晨。
全量回填走读库:约 7,000 万条历史数据用自编 Job 批量查询两个机房的读库,再写入 TiDB,耗时 10 天。
回填与统计抢资源:历史回填进行时,集群一台节点宕机,历史数据写入失败。排查发现回填与 ANALYZE 同时运行,IOPS 和内存过高,最终触发 OOM。
统计收集避开写入高峰:当时的处理是停掉 ANALYZE,先把历史数据写完。写完之后,把 ANALYZE 改到凌晨 4 点,避开业务高峰。
查询优化
月分区对齐业务允许的时间窗口。索引里有排序列仍要看计划。深分页先取标识再取宽行。多列 OR 在 8.5.6 和 8.5.7 上默认计划不同,改成按列 UNION。计划异常时还要分开看资源等待。
月分区对齐查询窗口:宽表按订单创建时间 origin_create_time 做月分区。当时每天新增约 7~9 万条,每月在 300 万条以内。
索引有序仍要看计划:常规查询按商户、支付方式、创建时间和业务订单号建联合索引,用来同时满足筛选和按业务订单号排序。
宽行深分页超内存:列表最多允许翻到 10,000 条。翻到靠后页时,语句仍要按排序定位,同时带上宽表的全部字段,内存超过单次执行限制,查询失败。
先定位页再取整行:深分页改成两段:内层只保留记录标识和排序所需字段,用同样的过滤、排序和 LIMIT 定位当前页;外层按标识内联结回宽表,取出完整行,并显式按内层顺序排序。
补丁默认关掉索引合并:一个类型未知的单号要在四五类单号里匹配。测试环境 TiDB 8.5.7、约 2,000 万行,大约 200ms,计划使用 IndexMerge。上线时生产是 8.5.6,同样的查询要几十秒,计划没有使用 IndexMerge。
OR拆成分支再合并:处理办法是升级版本,同时改 SQL:每个候选单号列单独查标识,UNION 合并后再内联结宽表取完整行。
慢查询分计划与等待:另一次生产脚本的执行计划已经和预期不同。排查后发现是 TiDB 资源管控在限制:资源组配额、流控和优先级会让语句等待或超时。放开限制后问题消失。
用实际执行评价改写:SQL 改写先用 EXPLAIN 看计划,再用 EXPLAIN ANALYZE 看实际执行。对比时看扫描行数、回表、排序和内存,确认预想的变化真的发生,而不是只对比语句文本。
灰度迁移
切换分比对、主读、仅 TiDB 三步。结构化日志按字段记录入口、双读耗时和差异,统计时按 trace 去重,并按主读角色解释两侧耗时。
灰度切换分三阶段:切换分三步,每步的主响应和对照不同:
结构化日志才能聚合:普通日志把上下文和业务数据拼成一条字符串,只能靠正则或全文去搜,很难按商户或接口汇总。
三类日志用trace串联:灰度日志按用途分成三类:入口请求日志用来算分母、挑商户;双读耗时日志对比两侧耗时;差异日志归类结果不一致。
灰度统计的三个口径:同一请求会打出多条日志,所以请求数和差异数都要按 trace_id 去重,不能按日志条数计。
结果与经验
四类查询的平均耗时下降是模型和实现一起的结果。可带走的是:先看完整链路,宽表会把成本前移,SQL 要连同数据库环境交付,用实际执行评价改写,迁移的每一步都要能观察。
降幅含模型和实现:2026-10-20 12:30~15:30,租户 paycenter_xjp 的 TiDB 主读双读样本里,四类查询的 TiDB 平均耗时相对 ES 下降 31.8%~85.8%。样本数从三百多到一万五千不等,计数类查询降幅最小。
原书依据 · 21 处
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
- 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 · 查看原书依据
跨章综合
这篇分享只有一条主线,五个部分是它的先后步骤。宽表解释了为什么查询可以少拼装,也解释了深分页为什么会因行太宽而失败。回填和 ANALYZE 抢资源、多列 OR 因小版本默认值换了计划、资源组配额让语句等待,是同一件事的三个例子:语句文本没有变,运行环境变了,结果就变了。灰度的三阶段和按 trace 去重的日志,是用来发现这种变化,而不是用来事后解释一个总平均耗时。
发散与实践
可以把分享里的两个判断拿到公开文档和执行计划上核对:52869 的默认值是否如文中所说在 8.5.7 改变;深分页改写后,执行计划里的回表和排序是否如文中所料。两张实践卡只交付计划和已核对的文档原文,没有在业务集群上执行。