知识卡片

结构图卡 · 2580.b.1.a

Spark SQL四层架构与Catalyst查询优化器

理解等级:未标注

Spark SQL构建在Spark之上,由四层构成,各层职责边界清晰。用户接口层提供两套并行的访问方式:兼容大部分HQL语法、可与Hive Metastore无缝对接的类HQL语言,以及结构化编程接口DataFrame/DataSet(参见[[DataFrame/Dataset为何在RDD之上再造一层抽象]])——DataFrame/DataSet是Spark SQL生态里更核心的接口,因为Spark Streaming、MLLib、GraphX等其他Spark组件都基于这套API构建自己的引擎和编程接口。SQL引擎层负责把上层的HQL或DataFrame/DataSet程序编译成可分布式运行的程序,核心组件是查询优化器Catalyst,它在生成分布式执行计划前执行查询优化;具体规则或代价模型及计划质量取决于版本、统计信息和配置,原书没有给出这些条件。计算引擎层的输入是SQL引擎层的编译产物,输出是基于RDD模型的Spark分布式程序,直接运行在底层的Spark计算引擎上。存储层则对各类数据源做了统一抽象,内置支持HDFS各种格式(行式的Text/Sequence File,列式的Parquet/ORC)、Hive、各类关系型数据库,用户也能按需接入自定义存储引擎。可迁移启发:Hive把SQL翻译成MapReduce/Tez这类通用批处理程序去跑,Spark SQL则更进一步——把Catalyst查询优化器放在SQL引擎层,在生成最终RDD程序之前就先做一轮针对性的查询优化,这是”复用通用计算引擎做执行”和”在SQL层专门叠加一层查询优化器”两种设计思路的差异,后者更接近传统关系型数据库的查询优化传统。

结构图:

flowchart TB
  A["用户接口层<br/>类HQL语言 / DataFrame-DataSet结构化API"]
  A --> B["SQL引擎层<br/>Catalyst查询优化器(计划优化)"]
  B --> C["计算引擎层<br/>编译成基于RDD的Spark分布式程序"]
  C --> D["存储层<br/>统一抽象:HDFS(Text/SequenceFile/Parquet/ORC)/Hive/关系型数据库"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第14章《数据分析语言HQL与SQL》之"14.3 Spark SQL架构"(源文件:_epub-src/OEBPS/text00113.html) - 结论依据:原文说明"Spark SQL基本架构……主要由四层构成……(1)用户接口层……(2)SQL引擎层……Spark SQL引擎层主要职责是将HQL或DataFrame/DataSet程序编译成可分布式运行的程序……其最重要的组件是查询优化器catalyst,确保生成最优化的分布式程序……(3)计算引擎层……输出则是基于RDD模型的Spark分布式计算程序……(4)存储层……对数据源进行了抽象,内置了对大量存储引擎的支持", 直接支撑本卡关于四层架构的结构图。 - 原始内容:而Spark Streaming,MLLib和graphX等系统均基于这套API实现自己的引擎和编程接口。