知识卡片

普通读书笔记卡 · 1778.c.3

Impala执行协调与工作分离

理解等级:中级

一个Impalad接收查询、读取元数据并规划,协调相关Impalad执行片段,最后合并返回。节点可承担不同查询角色,不应把协调器永久等同唯一主节点。NameNode仍提供文件位置元数据,直接读数据路径不等于完全绕开它。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 交互式数据分析 · 查看原书依据

      集群中每个数据节点上部署一个Impalad进程,当客户端发出SQL语句时,Impala以Round Robin方式选择某个Impalad进程负责该语句的处理过程,该Impalad进程接收用户的SQL语句,查询计划器(Query Planner)根据Hive的Metastore中存储的元数据将SQL语句转换为分布式的查询计划,调度器(Query Coordinator)将查询计划分发给存储SQL语句中涉及的数据表数据的其他相关Impalad进程,每个Impalad进程的查询执行器(Query Executor)读写数据来处理查询,并把处理结果通过网络流方式传送回负责该SQL语句的调度器,调度器做全局统计操作后将结果返回给客户端,完成SQL语句的执行。

    参考来源

    - 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html) - 结论依据:原文在本章对Impala执行协调与工作分离给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:集群中每个数据节点上部署一个Impalad进程,当客户端发出SQL语句时,Impala以Round Robin方式选择某个Impalad进程负责该语句的处理过程,该Impalad进程接收用户的SQL语句,查询计划器(Query Planner)根据Hive的Metastore中存储的元数据将SQL语句转换为分布式的查询计划,调度器(Query Coordinator)将查询计划分发给存储SQL语句中涉及的数据表数据的其他相关Impalad进程,每个Impalad进程的查询执行器(Query Executor)读写数据来处理查询,并把处理结果通过网络流方式传送回负责该SQL语句的调度器,调度器做全局统计操作后将结果返回给客户端,完成SQL语句的执行。