知识卡片

结构图卡 · 1778.c.1.a

Impala两阶段查询计划与两种分布式Join策略

理解等级:未标注

Impala把SQL编译成可执行计划分两个阶段完成,这个两段式设计把”先按传统单机数据库的方式想清楚查询逻辑”和”再考虑怎么把它分布式化”这两件事解耦开。第一阶段生成单点计划:仿佛这条SQL只需要在一台机器上执行,先做HDFS/HBase扫描、hash join、聚集、排序等常规算子编排,并基于成本做谓词下推、列裁剪、分区剪枝等经典优化——这一步的产物是一棵还没有考虑”数据分布在多台机器上”这个约束的计划树。第二阶段把单点计划转成分布式执行计划,核心目标是”最小化数据移动、最大化本地数据扫描”,具体做法是在计划节点之间插入必要的”交换节点”(数据确实需要跨节点重分布的地方)、同时尽量减少不必要的交换节点。这一阶段要为join选择物理策略,Impala提供两种:表广播(把较小的一张表整份复制广播到所有相关节点,另一张大表保持原地不动)适合”一大一小”的join场景,避免大表被搬来搬去;哈希重分布(按join字段的哈希值,把两张表的数据都重新洗牌分布到对应节点)适合两表规模相当、谁都不适合被整体广播的场景。此外,分布式计划里的聚集函数会被拆成两阶段:先在本地做局部分组聚合以压缩数据量、再做一次数据重分布,最后汇总局部结果算出全局值——这与MapReduce里[[MapReduce五大可编程组件的职责划分]]中Combiner”本地预聚合再汇总”的设计思路是同一类招数。可迁移启发:分布式SQL执行计划的设计,可以拆成”先按单机逻辑把查询计划想清楚”和”再决定数据该在哪些环节跨节点移动、以及移动多少”两层分别求解,比一上来就同时考虑两个维度更容易做局部最优。

结构图:

flowchart TB
  A["Impala查询计划两阶段"]
  A --> P1["阶段1:单点计划<br/>扫描/join/聚集/排序+基于成本优化(谓词下推/列裁剪/分区剪枝)"]
  P1 --> P2["阶段2:分布式化<br/>插入必要交换节点,最小化数据移动"]
  P2 --> J["Join物理策略选择"]
  J --> J1["表广播:小表整份广播到各节点,大表不动"]
  J --> J2["哈希重分布:按join字段哈希值重新分布两表数据"]
  P2 --> AG["聚集两阶段:本地局部聚合→重分布→全局汇总"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第12章《交互式计算引擎》之"12.2.1 Impala"(源文件:_epub-src/OEBPS/text00098.html) - 结论依据:原文说明"第一阶段,将解析树转换为单点计划树……第二阶段,将单个节点的计划转换为分布式的执行计划,基本目标在于最小化数据移动和最大化本地数据扫描……生成物理的join策略。Impala支持两种分布式join方式,表广播(broadcast)和哈希重分布(parittioned)……在Impala中,分布式计划中的聚集函数会被分拆为两个阶段执行", 直接支撑本卡关于两阶段查询计划与join策略的结构图。 - 原始内容:表广播方式保持一个表的数据不动,将另一个表广播到所有相关节点;哈希重分布的原理是根据join字段哈希值重新分布两张表数据。