知识卡片
编排不只是调度
数据架构反映支持组织长期数据需求和战略的数据系统的当前与未来状态。数据工程师先理解业务需求、收集用例需求,再转化为捕获和提供数据的新设计,在成本与操作简单性间取得平衡;数据工程师不等于数据架构师,但应能交付其设计并提供架构反馈。
编排是协调许多作业,尽可能快速高效地按预定节奏运行的过程。人们常把 Airflow 叫调度器,这不准确:
| 工具 | 知道什么 |
|---|---|
| 纯调度器(cron) | 只知道时间 |
| 编排引擎 | 内置作业依赖元数据(通常是 DAG),在依赖完成时启动任务 |
编排系统应高可用在线,持续感知和监控:监控外部系统数据是否到达且满足标准;超出界限时报警(如通宵管道预期上午 10 点完成,未完成就通知工程师和消费者);提供作业历史、可视化;高级引擎能为新 DAG 或新任务回填,支持时间范围依赖(月报在开始前检查 ETL 是否完成了整月)。演进:Oozie 依附 Hadoop、难用于异构环境→Facebook Dataswarm 启发了 Airbnb 2014 年开源的 Airflow(Python 编写,可扩展,当时市场领导者)→Prefect、Dagster 改善可移植性与可测试性,Argo 基于 Kubernetes,Metaflow 面向数据科学。编排严格说是批处理概念,流式替代是流式 DAG。
软件工程仍然至关重要:
- 核心数据处理代码(Spark、SQL、Beam),作者“反对 SQL 不是代码的观点”;要掌握单元、回归、集成、端到端、冒烟测试;
- 参与开源框架;设计内部工具前先调研公开工具,关注总拥有成本和机会成本,很可能已有开源项目,合作好过重造轮子;
- 流处理更复杂(实时连接、窗口化),可选函数平台或专用流处理器;
- 基础设施即代码:用框架而非手工启动实例,实现版本控制和可重复部署;
- 流水线即代码:用代码(通常 Python)声明任务和依赖,由编排引擎执行;
- 通用问题解决:用 Fivetran、Airbyte 等工具时总会遇到没有连接器的数据源,需要理解 API、提取转换数据、处理异常。
生命周期中数据工程师的顶层目标:产生最佳 ROI 并降低成本(财务与机会),降低风险(安全、数据质量),最大化数据价值和效用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 数据工程生命周期 · 查看原书依据
一个纯粹的调度程序,比如cron,只知道时间;编排引擎在作业依赖性元数据中构建,通常是有向无环图(Directed Acyclic Graph,DAG)的形式。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.2.4 数据架构;2.2.5 编排;2.2.6 软件工程(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources)
- 结论依据:2.2.4节说明数据架构作为底层设计及数据工程师与架构师的关系;2.2.5节定义编排并区分调度器与编排引擎,介绍编排系统的监控、告警、回填、时间范围依赖和Oozie到Airflow、Prefect、Dagster的演进;2.2.6节列出核心处理代码与测试、开源框架与先调研再自建、流处理、IaC、流水线即代码和通用问题解决;2.3节总结数据工程师的顶层目标。
- 原始内容:一个纯粹的调度程序,比如cron,只知道时间;编排引擎在作业依赖性元数据中构建,通常是有向无环图(Directed Acyclic Graph,DAG)的形式。