知识卡片
查询的生命周期
前几个阶段主要是移动和保存数据,本章讲如何让数据变得有用:查询、建模、转换。这里的“数据库”泛指查询引擎及其查询的存储,可以是云数仓,也可以是用 Spark 查询 S3 上的数据。
查询与四类 SQL 语言:查询就是检索和处理数据(CRUD 中的 R),很多数据库也允许通过查询创建、更新、删除数据。 - DDL(数据定义):CREATE、DROP 等,定义数据库、模式、表、用户等对象的状态; - DML(数据操作):SELECT、INSERT、UPDATE、DELETE 等; - DCL(数据控制):GRANT、DENY、REVOKE。书中例子:新数据科学家入职时授予只读权限,几个月后离职,有安全意识的工程师随即撤销其权限; - TCL(事务控制):COMMIT、ROLLBACK,定义检查点和回滚条件。
一条 SQL 执行时发生的事: 1. 引擎编译 SQL:检查语义、确认引用对象存在、当前用户有访问权; 2. 转换为字节码,以机器可读形式表示执行步骤; 3. 查询优化器分析字节码,重新排序和重构步骤,尽可能有效地使用资源; 4. 执行并返回结果。
查询优化器评估连接、索引、扫描数据量等因素,以成本最低的方式执行查询。每个数据库的优化器各不相同;你不会直接和它打交道,但了解它有助于写出高性能查询。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
查询优化器试图以成本最低的方式执行查询。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》第8章导语;8.1.1 什么是查询;8.1.2 查询的生命周期;8.1.3 查询优化器(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:第8章导语说明本章主题和术语;8.1.1节介绍查询及DDL、DML、DCL、TCL;8.1.2节描述SQL查询编译、字节码、优化、执行四步;8.1.3节说明查询优化器的作用。
- 原始内容:查询优化器试图以成本最低的方式执行查询。