知识卡片
获取与数据管道定义
数据获取:把数据从一个地方移动到另一个地方,是生命周期中把数据从源系统移入存储的中间步骤。
三个易混概念: - 获取 vs 数据集成:获取是 A 到 B;集成是把多个来源的数据组合成新数据集(如把 CRM、广告分析、网站分析组合成用户标签存入数仓,再用反向 ETL 写回 CRM 供销售排序线索); - 获取 vs 系统内部移动:库内表到表复制、把流数据临时写入缓存,属于一般数据转换(第 8 章)。
数据管道的定义:在数据工程生命周期的各个阶段用来移动数据的架构、系统和过程的组合。作者故意给出模糊定义,让工程师按需纳入所需的东西:它可以是从本地事务系统经单一处理器写入数仓的传统 ETL,也可以是从 100 个源抽数、合并成 20 张宽表、训练 5 个 ML 模型并部署监控的云管道。ETL、ELT、反向 ETL、数据共享都包含在其中。
随着技术从严格限制数据移动的单体方案转向像乐高一样组装的开放云服务生态,数据工程师应优先选用能达成预期结果的正确工具,而不是坚守狭隘的旧理念。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第7章 获取
原书出处 · 1 处
- 第7章 获取 · 查看原书依据
数据管道是在数据工程生命周期的各个阶段用来移动数据的架构、系统和过程的组合。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》第7章导语;7.1 什么是数据获取(数据管道的定义)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources)
- 结论依据:第7章导语与7.1节定义数据获取,区分获取与数据集成、系统内部移动,并给出数据管道的宽泛定义及其涵盖的模式。
- 原始内容:数据管道是在数据工程生命周期的各个阶段用来移动数据的架构、系统和过程的组合。