知识卡片
Spark SQL四层架构与Catalyst查询优化器
Spark SQL构建在Spark之上,由四层构成,各层职责边界清晰。用户接口层提供两套并行的访问方式:兼容大部分HQL语法、可与Hive Metastore无缝对接的类HQL语言,以及结构化编程接口DataFrame/DataSet(参见[[DataFrame/Dataset为何在RDD之上再造一层抽象]])——DataFrame/DataSet是Spark SQL生态里更核心的接口,因为Spark Streaming、MLLib、GraphX等其他Spark组件都基于这套API构建自己的引擎和编程接口。SQL引擎层负责把上层的HQL或DataFrame/DataSet程序编译成可分布式运行的程序,核心组件是查询优化器Catalyst,它在生成分布式执行计划前执行查询优化;具体规则或代价模型及计划质量取决于版本、统计信息和配置,原书没有给出这些条件。计算引擎层的输入是SQL引擎层的编译产物,输出是基于RDD模型的Spark分布式程序,直接运行在底层的Spark计算引擎上。存储层则对各类数据源做了统一抽象,内置支持HDFS各种格式(行式的Text/Sequence File,列式的Parquet/ORC)、Hive、各类关系型数据库,用户也能按需接入自定义存储引擎。可迁移启发:Hive把SQL翻译成MapReduce/Tez这类通用批处理程序去跑,Spark SQL则更进一步——把Catalyst查询优化器放在SQL引擎层,在生成最终RDD程序之前就先做一轮针对性的查询优化,这是”复用通用计算引擎做执行”和”在SQL层专门叠加一层查询优化器”两种设计思路的差异,后者更接近传统关系型数据库的查询优化传统。
结构图:
flowchart TB
A["用户接口层<br/>类HQL语言 / DataFrame-DataSet结构化API"]
A --> B["SQL引擎层<br/>Catalyst查询优化器(计划优化)"]
B --> C["计算引擎层<br/>编译成基于RDD的Spark分布式程序"]
C --> D["存储层<br/>统一抽象:HDFS(Text/SequenceFile/Parquet/ORC)/Hive/关系型数据库"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。