知识卡片
工具越简单工程师越上移
写一个变化如此迅速的领域:作者坦言最难的是筛掉表面干扰、找到深层不变的规律。本书聚焦数据工程生命周期及其底层设计——运营优先级、最佳实践和技术会变,但生命周期的主要阶段会在许多年内保持不变。
常青的生命周期:公司意识到要先建立数据基础,再转向 AI 和 ML 等“更性感”的东西,数据工程的重要性将继续增长。有人认为易用工具会让数据工程师消失,作者称这种想法浅薄、懒惰、短视:组织以新方式利用数据,就需要新的基础、系统和工作流,数据工程师处于设计、架构、构建、维护的中心;工具变容易时,数据工程师会向价值链上游移动,专注更高级别的工作。
复杂性下降: - 21 世纪 00 年代部署大数据需要庞大团队和雄厚资金,SaaS 托管服务基本消除了这种复杂性,数据工程成为所有公司都能做的事,不依赖特定技术、数据规模,也不只适用于大公司; - 大数据技术青出于蓝:BigQuery 是 GFS 和 MapReduce 的后裔,曾只在谷歌内部使用,现在任何 GCP 用户按存储和查询付费即可查询 PB 级数据; - 云托管开源改变了开源工具:过去要下载代码自己配置,如今 Airflow 有 Cloud Composer 和 AWS 托管版,Lambda、Cloud Functions 几分钟部署事件驱动应用,托管 Kubernetes 支撑微服务。有特殊需求的公司可先用云托管开源,需要定制源码时再转向自管; - 现成数据连接器(Fivetran、Airbyte)让 API 连接功能被外包,工程师专注于更独特的业务问题。
激烈竞争让工具复杂性持续降低、功能持续增加,这种简化只会促进数据工程实践。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 数据工程的未来 · 查看原书依据
如果工具变得更容易使用,数据工程师就会向价值链上游移动,专注于更高级别的工作。