知识卡片

结构图卡 · 1778.c.1

Impala对等式架构:如何解决MPP集群的元数据同步难题

理解等级:未标注

Impalad 节点都可接收查询、生成计划并执行片段,须共享表元数据与成员视图。Catalogd 从 Hive Metastore 获取表信息并广播变更;单实例 Statestored 传播集群状态;Impalad 兼任协调者和执行者。这里的“对等”指查询节点,并非三类服务职责相同;书中指出 Statestored 有单点故障风险。

结构图:

flowchart TB
  A["Impalad 对等处理查询;元数据服务另有专责"]
  A --> C["Catalogd<br/>从Hive Metastore同步表概略信息<br/>元信息变化时广播给各Impalad"]
  A --> S["Statestored<br/>订阅-发布,同步集群元数据+节点存活视图<br/>书中明确指出有单点风险"]
  A --> I["Impalad(每节点一个,双重角色)<br/>协调者:编译SQL,调度执行片段<br/>执行者:处理他人分发的片段,靠本地数据获得数据本地性"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第12章《交互式计算引擎》之"12.2.1 Impala"(源文件:_epub-src/OEBPS/text00098.html) - 结论依据:原文说明"Impala采用了对等式架构,所有角色之间是对等的,没有主从之分……Catalogd……仅仅载入每张表的概略信息,更为详细的信息将由后台进程从第三方存储中延迟载入……Statestored……单一实例(存在单点故障问题),将集群元数据传播到所有的Impalad进程……Impala对称的节点架构要求所有的节点必须都能够接收并执行查询,因此所有节点必须有系统目录结构的最新版本和集群成员关系的当前视图……Impalad,同时承担协调者和执行者双重角色", 直接支撑本卡关于对等式架构与元数据同步机制的结构图。 - 原始内容:Impalad一般部署在集群中运行Datanode进程的所有机器上,进而利用数据本地化的特点而不必通过网络传输即可在文件系统中读取数据块。