知识卡片
优化亿级订单查询
题目:电商早期没考虑数据量增长,订单表已上亿条:用户查全部订单缓慢经常超时;用户按月份、消费类别(吃穿住行)查看消费账单也缓慢超时,数据难以统计分析。作为架构师你会怎样解决?
思路一:不改功能,单纯技术优化: 1. 保持单表,检查用户主键、订单日期索引是否完整。若缺失,对上亿条数据建索引十分缓慢且会锁表导致无法下单——还不如新建空表、建好索引,再迁移数据; 2. 改为按用户 ID 分区的分区表; 3. 账单不要用 SQL 汇总查询,建立专用的月份账单表,每产生一笔订单就在月份和类别维度上追加; 4. 分库分表,订单表和账单表按用户 ID 拆分,保证一个用户的订单查询落在同一个库。
思路二:优化功能设计: 1. 订单查询按状态拆成未支付、待收货、已收货、全部订单; 2. 全部订单分为近 3 个月或近 1 个月查询,与历史全部订单查询分开,缩小范围; 3. 定期把 3 个月前的订单转储到专门的查询库; 4. 月度账单异步计算,每产生一笔订单就累加数量和金额。
相关设计:[[查询优化先改产品设计]]、[[实时计算把汇总提前]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 关系型大数据架构设计 · 查看原书依据
如果索引缺失,则需要对上亿条数据创建索引,这是十分缓慢的。这个过程会锁表,导致用户无法正常下单,还不如新建空表,创建合理索引,再进行数据迁移。
参考来源
- 位置:《架构基础:从需求到架构》第10章《第10章 关系型大数据架构设计》10.6 案例设计(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_10_6.xhtml,来源项目 book-sources)
- 结论依据:10.6节案例设计题针对上亿条订单导致查询和账单统计超时,给出两类思路:技术上检查索引并以新建空表迁移替代锁表建索引、按用户ID分区、建立月份账单表、按用户ID分库分表;功能上按状态和时间范围拆分查询、定期转储、异步累计账单。
- 原始内容:如果索引缺失,则需要对上亿条数据创建索引,这是十分缓慢的。这个过程会锁表,导致用户无法正常下单,还不如新建空表,创建合理索引,再进行数据迁移。