来源书籍

交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换

Skill 版本:v23 工程实践;主题:数据库/存储;总表优先级:P6。 19 张卡片

未署名 · 2026-10-28

全书导读

这是一篇内部技术分享,不是教材。它讲的是把交易查询从 ES 迁到 TiDB:先把一笔交易和资金结果收成宽表,再处理回填、分区、索引、深分页和多列 OR,最后用三阶段灰度和结构化日志验证。

文中的耗时、版本和样本都绑在这次上线和 2026-10-20 那个观察窗口上。SQL 是简化示意。原始观察报告需要登录,没有收进本书。

全书主线

查询慢,不一定慢在数据库里那一次扫描。原链路的开销拆在 ES、关联数据和应用组装三处。宽表把组装提前到写入,查询变简单,但分页、回填和统计收集要承担新的资源成本。

同一条 SQL 的计划还取决于小版本和资源配额。所以迁移的验收不是“TiDB 更快”,而是:结果是否一致、计划是否是预想的那个、执行时有没有在等配额,并且每一步切换都还能退回、还能观察。

第01章 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换

架构调整

原查询要同时付 ES、关联数据和组装三笔开销。新模型把一笔交易和已经算好的资金结果放进同一行,由历史回填、Binlog 和资金 MQ 分别写入。

查询开销分三部分:原查询链路把交易写入 ES 之后,列表还要再取清分等资金信息、用商户缓存组装,详情可能回查原支付交易,导出又是另一条读取和组装链路。

宽表一行整合资金结果:TiDB 宽表以单笔支付、退款或拒付交易为一行。行里的资金结果不是查询时现算的,而是该笔交易已经算好的清分、结算等数据。

三条写入链路分工:同一张宽表有三条写入,职责不同:

数据准备

约 7,000 万行历史数据从两个机房的读库回填,用了 10 天。回填和 ANALYZE 叠在一起时把节点打到 OOM,所以统计收集被挪到凌晨。

全量回填走读库:约 7,000 万条历史数据用自编 Job 批量查询两个机房的读库,再写入 TiDB,耗时 10 天。

回填与统计抢资源:历史回填进行时,集群一台节点宕机,历史数据写入失败。排查发现回填与 ANALYZE 同时运行,IOPS 和内存过高,最终触发 OOM。

统计收集避开写入高峰:当时的处理是停掉 ANALYZE,先把历史数据写完。写完之后,把 ANALYZE 改到凌晨 4 点,避开业务高峰。

查询优化

月分区对齐业务允许的时间窗口。索引里有排序列仍要看计划。深分页先取标识再取宽行。多列 OR 在 8.5.6 和 8.5.7 上默认计划不同,改成按列 UNION。计划异常时还要分开看资源等待。

月分区对齐查询窗口:宽表按订单创建时间 origin_create_time 做月分区。当时每天新增约 7~9 万条,每月在 300 万条以内。

索引有序仍要看计划:常规查询按商户、支付方式、创建时间和业务订单号建联合索引,用来同时满足筛选和按业务订单号排序。

宽行深分页超内存:列表最多允许翻到 10,000 条。翻到靠后页时,语句仍要按排序定位,同时带上宽表的全部字段,内存超过单次执行限制,查询失败。

先定位页再取整行:深分页改成两段:内层只保留记录标识和排序所需字段,用同样的过滤、排序和 LIMIT 定位当前页;外层按标识内联结回宽表,取出完整行,并显式按内层顺序排序。

补丁默认关掉索引合并:一个类型未知的单号要在四五类单号里匹配。测试环境 TiDB 8.5.7、约 2,000 万行,大约 200ms,计划使用 IndexMerge。上线时生产是 8.5.6,同样的查询要几十秒,计划没有使用 IndexMerge。

OR拆成分支再合并:处理办法是升级版本,同时改 SQL:每个候选单号列单独查标识,UNION 合并后再内联结宽表取完整行。

慢查询分计划与等待:另一次生产脚本的执行计划已经和预期不同。排查后发现是 TiDB 资源管控在限制:资源组配额、流控和优先级会让语句等待或超时。放开限制后问题消失。

用实际执行评价改写:SQL 改写先用 EXPLAIN 看计划,再用 EXPLAIN ANALYZE 看实际执行。对比时看扫描行数、回表、排序和内存,确认预想的变化真的发生,而不是只对比语句文本。

灰度迁移

切换分比对、主读、仅 TiDB 三步。结构化日志按字段记录入口、双读耗时和差异,统计时按 trace 去重,并按主读角色解释两侧耗时。

灰度切换分三阶段:切换分三步,每步的主响应和对照不同:

结构化日志才能聚合:普通日志把上下文和业务数据拼成一条字符串,只能靠正则或全文去搜,很难按商户或接口汇总。

三类日志用trace串联:灰度日志按用途分成三类:入口请求日志用来算分母、挑商户;双读耗时日志对比两侧耗时;差异日志归类结果不一致。

灰度统计的三个口径:同一请求会打出多条日志,所以请求数和差异数都要按 trace_id 去重,不能按日志条数计。

结果与经验

四类查询的平均耗时下降是模型和实现一起的结果。可带走的是:先看完整链路,宽表会把成本前移,SQL 要连同数据库环境交付,用实际执行评价改写,迁移的每一步都要能观察。

降幅含模型和实现:2026-10-20 12:30~15:30,租户 paycenter_xjp 的 TiDB 主读双读样本里,四类查询的 TiDB 平均耗时相对 ES 下降 31.8%~85.8%。样本数从三百多到一万五千不等,计数类查询降幅最小。

原书依据 · 21 处

跨章综合

这篇分享只有一条主线,五个部分是它的先后步骤。宽表解释了为什么查询可以少拼装,也解释了深分页为什么会因行太宽而失败。回填和 ANALYZE 抢资源、多列 OR 因小版本默认值换了计划、资源组配额让语句等待,是同一件事的三个例子:语句文本没有变,运行环境变了,结果就变了。灰度的三阶段和按 trace 去重的日志,是用来发现这种变化,而不是用来事后解释一个总平均耗时。

发散与实践

可以把分享里的两个判断拿到公开文档和执行计划上核对:52869 的默认值是否如文中所说在 8.5.7 改变;深分页改写后,执行计划里的回表和排序是否如文中所料。两张实践卡只交付计划和已核对的文档原文,没有在业务集群上执行。

生成进度与管理记录

《交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换》概览

Skill 版本:v23

执行模式:light

建档进度:done

作者:未署名。正文是 2026-10-28 提供的内部技术分享,不是从登录页重新抓取的。

信息浓度:高。分享按架构、回填、SQL 和灰度给出机制、改写、版本差异和带样本数的耗时,铺垫很少。

稳定性/时效性:低。耗时、分区粒度和优化器默认值绑在 TiDB 8.5.6/8.5.7、这次业务表和 2026-10-20 的观察窗口上。

四象限:工程实践;主题:数据库/存储;总表优先级:P6。

内容形态:概念解析型。回填 OOM、深分页超内存、补丁导致索引合并关闭、资源配额导致变慢,这四处用问题卡;三条写入链路和三阶段切换用结构图卡。

整书笔记:_book_note.md(schema 1)。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
01 交易查询迁移到 TiDB:宽表建模、SQL 优化与灰度切换 done 19

非正文排除

spine项 类型 排除理由
1 about.xhtml 生成说明 只说明文本来自用户提供、在线页需登录、观察报告未收录,没有查询机制

待关联术语

术语名 出现章节 一句话语境
fund-data 01 原查询从这里取清分等资金信息,系统本身未展开
Kafka 01 原链路把 Binlog 送到消费程序的通道,机制未展开
Binlog 01 只作为交易增量链路的名称,日志格式未展开
CDC 01 全量回填改走读库,是为了降低它的流量成本
Victoria Logs 01 SLMCP 查询的日志存储,存储机制未展开
RU 01 资源组配额的消耗单位,算法未展开
Metrics 01 仅 TiDB 阶段用来告警的指标,指标项未列出

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
TiDB Explain Indexes 框架 01 IndexLookup 与覆盖索引的官方说明,https://docs.pingcap.com/tidb/stable/explain-indexes/
Optimizer Fix Controls 52869 框架 01 8.5.7 前后 IndexMerge 默认行为,https://docs.pingcap.com/tidb/stable/optimizer-fix-controls/#52869-new-in-v810
TiDB Resource Control 框架 01 资源组、RU 与优先级,https://docs.pingcap.com/tidb/stable/tidb-resource-control-ru-groups/
Explain Overview 框架 01 EXPLAIN 与 EXPLAIN ANALYZE 的差别,https://docs.pingcap.com/tidb/stable/explain-overview/
原始观察报告 文章 01 文内链接,需要登录,全文未纳入本次阅读,https://markdown.inshopline.com/docs/ae7fe3ea29e272f5f0c3b80c8366108a

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

无:清分和结算在本文是宽表里已经算好的字段,OOM、深分页超内存、计划回退和资源等待都是性能与容量问题,原文没有讨论重复扣款、余额或幂等。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 核验索引合并默认值 证据验证 done 01 idea-001-核验索引合并默认值.md;官方文档已核对,未在业务集群复现
2 核对分页改写的回表 行为实验 done 01 idea-002-核对分页改写的回表.md;实验步骤已备,未执行

实践候选筛选:done

采用两个互补方向:用官方文档核对 52869 的默认值变化,以及在隔离环境里用执行计划核对深分页改写。未再做第三张:原始观察报告需要登录且未收录,不能据此重算灰度数字;SLMCP 与 Victoria Logs 是内部系统,没有可公开复现的对象。两张卡只交付计划和已核对的文档原文,没有在业务集群上执行。

生成状态

已完成 1⁄1 正文项,知识卡 19 张。轻量模式:未执行笔记复核、独立审查及审查结果优化。

来源限制与版本

正文来自 2026-10-28 提供的分享文本,在线页需要登录,本次没有从站点重新抓取。文中 SQL 是简化示意。原始观察报告只保留链接,未收录全文,卡片不依赖其中的明细。

整书笔记 schema:1;字节 SHA-256:751e69d3ad5074bb5c05f7492a23bb3d2ad8cf4470e2a093d7287eaeceb6f48f。来源版本见 _source_manifest.json。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。