知识卡片
复制分布:为小表广播完整副本,换取聚合本地化
MPP架构的基本原则是把数据分散存储、让计算尽量在各节点本地 完成,”复制分布”(DISTRIBUTED REPLICATED)表面上正好反其道 而行——它让每个segment实例都保存这张表的完整副本,等于故意 制造大量数据冗余,看起来完全违背MPP”分散数据”的立身之本。但 这个”反常规”的设计恰恰是为了解决一类特定场景下更大的代价: 大表和小表做聚合操作时,如果小表仍然按常规方式分散存储,做 聚合前免不了要把小表的数据重新分发(redistribution)到各个 实例上去跟大表对齐——这份重分发的网络开销,对于一张本身数据量 不大的表而言,相对收益很低。如果把这张小表直接设为复制分布, 每个segment实例本地就已经拥有它的完整副本,聚合操作可以完全 在本地就地完成,彻底省掉了这次跨实例的数据搬运。复制分布还 顺带解决了另一个问题:某些用户自定义函数在访问表数据时会有 限制(无法跨节点访问分散存储的数据),而复制分布保证每个节点 本地就有完整数据,天然绕开了这个限制。这个设计说明”分散存储” 不是MPP架构必须无条件遵守的教条,而是”大多数场景下更划算”的 默认选择——一旦某类数据(体积小、被频繁用于和大表关联)的 访问模式使得”冗余存储换本地化计算”比”分散存储换跨节点重分发” 更划算,架构就应该允许打破默认规则,为这类特例开一个专门的 分布方式。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》
第7章"分布式存储的实现"7.1.3节"复制分布"(源文件:
_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文明确"复制分布是Greenplum 6.0版本加上的新功能,
每个segment实例上都有表数据的完整副本……复制分布虽然有违
MPP数据处理的基本原则,但是在有些特殊的场景下是有作用的。
比如大表和小表做聚合操作时,如果小表用复制分布的方式建表,
就能在segment实例内部做聚合,避免了小表数据的重新分发",
直接说明复制分布违背MPP常规原则但在小表聚合场景下能省去
重分发开销的具体价值。
- 原始内容:复制分布虽然有违MPP数据处理的基本原则,但是在
有些特殊的场景下是有作用的。比如大表和小表做聚合操作时,
如果小表用复制分布的方式建表,就能在segment实例内部做聚合,
避免了小表数据的重新分发。