知识卡片

结构图卡

非分布键关联:先重分布数据,再本地join,再汇总

理解等级:未标注

MPP数据库把每张表按”分布键”打散存到不同的segment实例上,这样 设计的前提假设是:大多数查询只涉及单张表内部的操作,各个 segment实例可以完全独立地处理自己那份数据,互不依赖。但一旦 查询涉及两张表的关联(join),这个假设就可能失效——如果关联 条件用的字段恰好不是这两张表各自的分布键,那么”应该配对的两行 数据”很可能分别躺在不同的segment实例上,任何一个实例单独看 自己手里的数据都拼不出完整的关联结果。Greenplum解决这个问题 的方式分三步:第一步重分布,把参与关联的数据按关联字段重新 计算哈希、发送到该分字段应该归属的segment实例上,这一步本身 就要通过Interconnect在所有实例间做大量数据交换;第二步本地 关联,重分布完成后,每个segment实例上都已经凑齐了能配对的 数据子集,就地做哈希关联,不再需要跨实例通信;第三步gather Motion聚合,各个segment实例算出的局部结果被统一收集汇总, 发送给客户端。这个三步流程揭示了MPP架构一个容易被忽视的代价: 数据分布策略(分布键的选择)不是纯粹的存储决策,而是直接决定 了哪些查询能”零代价”并行执行(关联字段恰好是分布键)、哪些 查询要为跨实例重分布付出额外的网络开销(关联字段不是分布键)—— 选分布键本质上是在为未来最常见的查询模式做优化预判。

结构图:

flowchart TD
    A[两张表按各自分布键<br/>打散存储在不同segment实例] --> B{关联字段是否<br/>恰好等于分布键}
    B -->|是| C[数据天然已配对<br/>直接本地关联]
    B -->|否| D[重分布<br/>按关联字段重新哈希<br/>跨实例交换数据]
    D --> E[本地关联<br/>各segment实例就地做hash join]
    C --> F[gather Motion聚合<br/>汇总各实例局部结果]
    E --> F
    F --> G[返回客户端]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》 第4章"Greenplum总体架构"4.3.2节"通用场景"(源文件: _epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文明确"因为MPP数据库的数据是按照分布键分布在 不同segment实例上的,所以在做关联操作的时候,数据需要被 重新分布到对应的segment实例上再做关联操作。关联操作只针对 整个大表的部分数据,操作完成后会被gather Motion(聚合汇总 操作)聚合到一起,发送给客户端",直接描述"重分布→本地关联 →gather Motion聚合"这一完整流程。 - 原始内容:因为MPP数据库的数据是按照分布键分布在不同segment 实例上的,所以在做关联操作的时候,数据需要被重新分布到对应 的segment实例上再做关联操作……操作完成后会被gather Motion (聚合汇总操作)聚合到一起,发送给客户端。