知识卡片

结构图卡 · 1778.c.2

Presto的Master-Slave架构与"只借用一半生态"的插件化设计

理解等级:未标注

Presto采用了和Impala不同的架构选择——经典Master-Slave:Coordinator接收SQL、做词法语法分析、生成逻辑与物理查询计划,把任务调度给多个Worker执行并汇总结果(一个集群可以有多个Coordinator防止单点故障);Discovery Server是轻量的服务发现组件(通常内嵌在Coordinator节点里),各Worker启动时向它注册并定期汇报状态,让Coordinator能随时获取当前活跃的Worker列表——这本质上是[[基于ZooKeeper的服务发现与负载均衡模式]]描述的”注册+动态感知”模式的一个轻量级自实现版本,不借助ZooKeeper也能达成同样效果。Presto本身完全不提供数据存储,而是走插件化路线,通过Connector接入Hive、HDFS、MySQL、Cassandra、HBase、Redis等异构数据源,并在数据库之上再包一层catalog命名空间区分不同数据源——这使得Presto能在一次查询里联结(join)来自完全不同系统的表。特别值得注意的是Presto访问Hive时展现出的一个精妙设计:Hive本身由数据存储(HDFS/S3)、元信息管理(Hive Metastore)、查询语言与计算引擎(HQL翻译成MapReduce/Tez)三部分构成,但Presto只借用了前两个组件——直接读取Hive Metastore里的元数据和HDFS里的实际数据,却完全抛弃HQL和Hive自己的MapReduce/Tez执行引擎,换成自己的SQL方言和MPP执行引擎去处理这些数据。可迁移启发:当想要复用一个庞大既有系统的能力时,不必囫囵接受它的全部组件——先拆解清楚它由哪几个相对独立的子系统构成(存储层/元数据层/执行层),再判断哪几层值得直接复用(往往是存储和元数据这类”状态”层)、哪几层应该换成自己更高效的实现(往往是执行引擎这类”计算”层),这样能同时获得生态兼容性和自身的性能优势。

结构图:

flowchart TB
  A["Presto Master-Slave架构"]
  A --> C["Coordinator(可多个,防单点)<br/>SQL解析+查询计划+调度+汇总"]
  A --> D["Discovery Server(常内嵌于Coordinator)<br/>Worker注册+状态汇报"]
  A --> W["Worker(多个)<br/>多线程执行任务,结果发回Coordinator"]
  A --> P["插件化Connector<br/>接入Hive/HDFS/MySQL/Cassandra/HBase等<br/>catalog命名空间区分数据源"]
  P --> H["访问Hive:只借用存储(HDFS)+元数据(Metastore)<br/>抛弃HQL与MapReduce/Tez执行引擎,换成自己的MPP引擎"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第12章《交互式计算引擎》之"12.2.2 Presto"(源文件:_epub-src/OEBPS/text00098.html) - 结论依据:原文说明"Discovery Server:服务发现组件,各个Worker启动时会向Discovery Server注册,并将状态信息定期汇报给Discovery Server……Discovery Server是一个轻量级的服务,通常内嵌于Coordinator节点中……Hive主要由三个组件构成:数据存储……元信息管理……查询语言HQL与分布式计算引擎……Presto只用到了Hive中的前两个组件:数据存储和元信息管理,但并未使用HQL以及查询引擎,而是采用了自己定义的SQL查询语言和分布式查询引擎", 直接支撑本卡关于Presto架构与"部分复用Hive"设计的结构图。 - 原始内容:它并未采用MPP架构,而是将SQL翻译成MapReduce或Tez等批处理作业运行在Hadoop集群中,因而数据处理效率并不高。Presto对Hive有完好的支持,它能够直接读取Hive中已经存在的表,并使用MPP引擎进行高效处理。