知识卡片
广播连接与洗牌连接
分布式连接:把逻辑连接拆成在集群各节点上运行的较小节点连接,MapReduce、BigQuery、Snowflake、Spark 都适用。
- 广播连接:数据不对称——大表分布在各节点,小表能装进单个节点。引擎把小表 A 广播到所有节点,与大表 B 的各部分连接,计算量远小于洗牌哈希连接。实践中表 A 往往是被向下过滤后的大表。优化器的首要任务之一是连接重排:尽早应用过滤条件、把小表移到左边(对左连接而言),能大幅减少每个连接处理的数据量。预先过滤以便创建广播连接可极大提升性能、降低资源消耗;
- 洗牌哈希连接:两表都无法放进单节点时使用。初始分区与连接键无关,引擎按连接键的哈希重新划分数据,把相同键的数据移到同一节点后再连接,资源消耗通常更大。
ETL → ELT:传统 ETL 依赖外部系统拉取、转换、清洗数据,再加载到数仓——这是由源(RDBMS 限制拉取速度)和目标(存储、CPU 受限)的限制驱动的。随着数仓性能和容量增长,ELT 变得普遍:抽取原始数据、最小转换后导入数仓,再在仓内清洗转换。
数据湖版 ELT 的陷阱:加载时完全不转换,甚至没有使用计划,假设将来某个时候再转换——这是数据沼泽的重要成因。Inmon 说他见过太多组织“先把数据放进去以后再转换”,结果六个月后数据从没被碰过。
作者认为 ETL 和 ELT 只应在微观层面(单个转换管道内)使用,而不是在宏观上为全组织标准化;应按具体情况选择适当技术。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
预先过滤数据以便在可能的情况下创建广播连接,这样可以极大地提高性能并减少资源消耗。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3.1 批量转换(分布式连接;ETL、ELT和数据管道)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.3.1节介绍广播连接与洗牌哈希连接的原理和性能差异、连接重排与预先过滤的作用,ETL向ELT的演变及数据湖无计划加载导致数据沼泽,并建议只在微观层面使用ETL/ELT概念。
- 原始内容:预先过滤数据以便在可能的情况下创建广播连接,这样可以极大地提高性能并减少资源消耗。