知识卡片
Presto的Master-Slave架构与"只借用一半生态"的插件化设计
Presto采用了和Impala不同的架构选择——经典Master-Slave:Coordinator接收SQL、做词法语法分析、生成逻辑与物理查询计划,把任务调度给多个Worker执行并汇总结果(一个集群可以有多个Coordinator防止单点故障);Discovery Server是轻量的服务发现组件(通常内嵌在Coordinator节点里),各Worker启动时向它注册并定期汇报状态,让Coordinator能随时获取当前活跃的Worker列表——这本质上是[[基于ZooKeeper的服务发现与负载均衡模式]]描述的”注册+动态感知”模式的一个轻量级自实现版本,不借助ZooKeeper也能达成同样效果。Presto本身完全不提供数据存储,而是走插件化路线,通过Connector接入Hive、HDFS、MySQL、Cassandra、HBase、Redis等异构数据源,并在数据库之上再包一层catalog命名空间区分不同数据源——这使得Presto能在一次查询里联结(join)来自完全不同系统的表。特别值得注意的是Presto访问Hive时展现出的一个精妙设计:Hive本身由数据存储(HDFS/S3)、元信息管理(Hive Metastore)、查询语言与计算引擎(HQL翻译成MapReduce/Tez)三部分构成,但Presto只借用了前两个组件——直接读取Hive Metastore里的元数据和HDFS里的实际数据,却完全抛弃HQL和Hive自己的MapReduce/Tez执行引擎,换成自己的SQL方言和MPP执行引擎去处理这些数据。可迁移启发:当想要复用一个庞大既有系统的能力时,不必囫囵接受它的全部组件——先拆解清楚它由哪几个相对独立的子系统构成(存储层/元数据层/执行层),再判断哪几层值得直接复用(往往是存储和元数据这类”状态”层)、哪几层应该换成自己更高效的实现(往往是执行引擎这类”计算”层),这样能同时获得生态兼容性和自身的性能优势。
结构图:
flowchart TB
A["Presto Master-Slave架构"]
A --> C["Coordinator(可多个,防单点)<br/>SQL解析+查询计划+调度+汇总"]
A --> D["Discovery Server(常内嵌于Coordinator)<br/>Worker注册+状态汇报"]
A --> W["Worker(多个)<br/>多线程执行任务,结果发回Coordinator"]
A --> P["插件化Connector<br/>接入Hive/HDFS/MySQL/Cassandra/HBase等<br/>catalog命名空间区分数据源"]
P --> H["访问Hive:只借用存储(HDFS)+元数据(Metastore)<br/>抛弃HQL与MapReduce/Tez执行引擎,换成自己的MPP引擎"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。