知识卡片
预连接与行爆炸
不要和数据库死磕,要利用它的优势、避开它的劣势。
预连接:如果分析查询多次连接相同数据,就提前连接,让查询读取预连接的结果,避免重复计算密集的工作。做法有两种: - 改变模式、放宽规范化,用数组或结构体等新数据结构取代经常连接的实体关系; - 保持较规范化的模式,同时为最常见的分析和数据科学用例创建预连接表,或在物化视图中做连接,并培训用户使用。
复杂连接条件:许多行式数据库允许对计算结果建索引(如 PostgreSQL 可在转为小写的字符串字段上建索引,谓词中出现 lower() 时优化器即可使用);也可以为连接创建衍生列,但要培训用户使用它。
行爆炸:大量多对多匹配(连接键重复)时发生。表 A 中某个键重复 5 次、表 B 中重复 10 次,这些行交叉连接就产生 5×10=50 行;若许多键都有重复,结果会消耗大量资源甚至导致查询失败。还要了解优化器能否重排连接和谓词——查询早期的行爆炸可能让查询失败,即使后续谓词本可以删除大量重复输出,谓词重排能大幅减少计算。
用 CTE 代替嵌套子查询或临时表:CTE 以可读方式组合复杂查询,可读性的重要性不可低估;很多情况下性能也比建中间表更好,必须建中间表时考虑临时表。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
在查询早期阶段的行爆炸可能会导致查询失败,即使后续的谓词会正确地删除许多重复的输出。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.1.4 优化查询性能(优化你的连接策略和模式;行爆炸)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.1.4节说明通过预连接表或物化视图避免重复连接、对计算结果建索引或建衍生列优化复杂连接、多对多重复键导致的行爆炸及谓词重排的作用,并建议用CTE替代嵌套子查询。
- 原始内容:在查询早期阶段的行爆炸可能会导致查询失败,即使后续的谓词会正确地删除许多重复的输出。