知识卡片
云数据操作系统
操作系统类比:手机、笔记本、服务器都依赖操作系统提供基本服务、协调任务。应用不直接访问声卡显卡,而是通过标准 API 向 WindowServer、CoreAudio 等服务发命令;操作系统按依赖关系以正确顺序启动服务,监控并在故障时按顺序重启。BigQuery、Azure Blob Storage、Snowflake、Lambda 等简化的数据服务就像操作系统服务,只是规模更大、跑在许多机器上。
下一个前沿在更高层级: - 数据互操作性标准:Benn Stancil 提议标准化数据 API。Parquet、Avro 等新一代文件格式已用于云数据交换,大大改善了 CSV 的互操作性和原生 JSON 的性能; - 元数据目录:目前普遍使用传统的 Hive Metastore,期待后浪;元数据将在跨应用、跨系统、跨云的互操作性中发挥关键作用并推动自动化; - 编排的进化:Airflow 是第一个真正面向云的编排平台但仍需较大改进,Dagster、Prefect 重建编排架构来竞争。下一代编排将增强数据集成与数据感知——与数据目录和血缘集成,内建类似 Terraform 的基础设施即代码和类似 GitHub Actions、Jenkins 的部署能力:工程师直接在管道中写基础设施规范,Snowflake 库、Databricks 集群、Kinesis 流在管道首次运行时自动部署,并自动构建、测试、部署、监控; - 流式 DAG 将可以用相对简单的代码部署复杂转换(Pulsar 指明方向),新一代编排工具能拼接和监控托管流处理服务。
对数据工程师意味着什么:就像更复杂的移动操作系统框架没有淘汰移动应用开发者,反而让他们专注构建更好更复杂的应用,数据工程也会如此。
“企业级”数据工程:不是官僚和繁文缛节,而是大公司在数据管理、运营、治理等“无聊”方面的进步正在向下游渗透——我们正处于企业级数据管理工具的黄金时代,大数据和流数据的困难部分被抽象化,数据工程师将在数据管理、DataOps 等底层设计的抽象中找到机会。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 数据工程的未来 · 查看原书依据
我们预测,数据工程的发展将逐渐围绕几个数据互操作性标准进行。