知识卡片
查询优化先改产品设计
两种思路: - 从前向后:产品设计 → 数据结构设计 → 算法设计。程序改动大、开发慢,但效果最好、一劳永逸。先看产品设计是否合理(能否在不丧失易用性的同时限定查找范围、要求录入订单号),再选数据库和数据结构,最后选算法和执行流程; - 从后向前:开发初期忽略了数据量增长,查不出来了才优化。顺序是算法(减少数据库交互、更多在内存运算、多线程)→ 数据结构(索引、SQL、Redis、分库分表、改表结构)→ 产品设计(改查询流程和条件、减少耗时显示项,尽量用主键、分片字段、索引字段查询,减少范围、模糊、关联查询)。见效快,但不能从根本上解决问题。
五种常用优化: 1. 分区表:如订单按年份分区,按查询时间范围定位到分区; 2. 分库分表:分区表解决不了连接数和单实例性能不足; 3. 数据冗余:减少跨库查询和关联; 4. 数据转储:定期转入历史表,只允许查近 3 个月、6 个月、1 年; 5. 实时计算:count、sum、avg 等聚合很耗时,在数据产生时就累计。
两个常见误解(练习): - 分库分表不一定提升查询性能——跨分区查询、排序、分组都会严重下降,按分片字段查询、数据集中在一个分区内才真正有效; - 海量数据不只是技术问题:遇到瓶颈先想产品设计是否合理、需求理解是否正确,再考虑技术方案,避免在错误的道路上越走越远——这是技术型思维与产品型思维的重大差异,任何问题应先从上层论证合理性,再考虑实施细节。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 关系型大数据架构设计 · 查看原书依据
从前向后处理程序改动大、开发速度慢,但是效果最好,一劳永逸。从后向前处理方式的特点是见效快,但是并不能从根本上解决问题。
参考来源
- 位置:《架构基础:从需求到架构》第10章《第10章 关系型大数据架构设计》10.2 大数据查询设计;10.5 章节练习(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_10_2.xhtml,来源项目 book-sources)
- 结论依据:10.2节比较从产品设计到算法的从前向后优化与从算法到产品设计的从后向前优化,列出分区表、分库分表、数据冗余、数据转储、实时计算五种查询优化;10.5节练习指出分库分表须按分片字段查询才有效,并主张先论证产品设计与需求合理性再做技术优化。
- 原始内容:从前向后处理程序改动大、开发速度慢,但是效果最好,一劳永逸。从后向前处理方式的特点是见效快,但是并不能从根本上解决问题。