知识卡片

结构图卡 · 1778.d

SQL on Hadoop两种架构范式:基于计算引擎 vs 基于MPP架构

理解等级:未标注

构建在Hadoop之上的SQL引擎,本质上走的是两条不同的技术路线,各自继承了不同的优缺点组合。基于计算引擎的路线(Hive构建在MapReduce之上、Spark SQL构建在Spark之上):基本原理是把SQL语句翻译成对应计算引擎的分布式应用程序去运行,这类引擎因为直接复用了成熟计算引擎已有的容错和调度机制,具有良好的扩展性和容错性,能稳妥应对海量数据,但代价是执行路径更长(SQL→分布式应用程序→实际执行),性能通常不是最优。基于MPP架构的路线([[Impala对等式架构:如何解决MPP集群的元数据同步难题]]、Presto均属此类):基本原理是把SQL直接翻译成可以分布式并行执行的任务,用Volcano风格的计算引擎并行处理,任务之间的数据流转由专门的Exchange运算符负责,这类引擎具有很好的可扩展性和更极致的查询性能,但代价是容错性较差——一旦某个节点在执行中途出问题,往往需要整个查询重新执行,而不像基于计算引擎的路线那样可以依赖底层引擎细粒度的容错重试机制。可迁移启发:这组权衡揭示了一个通用的分布式执行系统设计张力——把执行链路做得越”直接”(少一层通用计算引擎中转),单次执行效率往往越高,但也意味着少了一层可以复用的、久经考验的容错基础设施,容错的责任必须自己重新承担;选型时要弄清楚自己的场景更在意”极致查询延迟”还是”面对长时间大查询任务时的容错稳定性”。

结构图:

flowchart LR
  A["SQL on Hadoop两种架构范式"]
  A --> B["基于计算引擎<br/>(Hive/Spark SQL)<br/>SQL→分布式应用程序<br/>扩展性/容错性好,性能路径较长"]
  A --> C["基于MPP架构<br/>(Impala/Presto)<br/>SQL→并行任务(Volcano风格+Exchange算子)<br/>查询性能好,容错性较差(节点故障需整体重跑)"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第14章《数据分析语言HQL与SQL》之"14.1 概述"(源文件:_epub-src/OEBPS/text00111.html) - 结论依据:原文说明"目前构建在Hadoop之上的SQL引擎主要分为两类,基于计算引擎和基于MPP架构:基于计算引擎……这些SQL引擎是在计算引擎基础上构建的,其基本原理是将SQL语句翻译成分布式应用程序……这类SQL引擎的特点是具有良好的扩展性和容错性,能够应对海量数据……基于MPP架构……其基本原理是将SQL翻译成可分布式执行的任务,采用Volcano风格的计算引擎并行处理这些任务,任务之间的数据流动和交换由专门的Exchange运算符完成……这些SQL引擎具有良好的可扩展性,但容错性较差", 直接支撑本卡两种架构范式权衡的结构图。 - 原始内容:典型的代表有构建在MapReduce之上的Hive和构建在Spark之上的Spark SQL……典型的代表有Presto和Impala等。