知识卡片

普通读书笔记卡 · 2280.h.1.a.16

工具越简单工程师越上移

理解等级:初级

写一个变化如此迅速的领域:作者坦言最难的是筛掉表面干扰、找到深层不变的规律。本书聚焦数据工程生命周期及其底层设计——运营优先级、最佳实践和技术会变,但生命周期的主要阶段会在许多年内保持不变。

常青的生命周期:公司意识到要先建立数据基础,再转向 AI 和 ML 等“更性感”的东西,数据工程的重要性将继续增长。有人认为易用工具会让数据工程师消失,作者称这种想法浅薄、懒惰、短视:组织以新方式利用数据,就需要新的基础、系统和工作流,数据工程师处于设计、架构、构建、维护的中心;工具变容易时,数据工程师会向价值链上游移动,专注更高级别的工作。

复杂性下降: - 21 世纪 00 年代部署大数据需要庞大团队和雄厚资金,SaaS 托管服务基本消除了这种复杂性,数据工程成为所有公司都能做的事,不依赖特定技术、数据规模,也不只适用于大公司; - 大数据技术青出于蓝:BigQuery 是 GFS 和 MapReduce 的后裔,曾只在谷歌内部使用,现在任何 GCP 用户按存储和查询付费即可查询 PB 级数据; - 云托管开源改变了开源工具:过去要下载代码自己配置,如今 Airflow 有 Cloud Composer 和 AWS 托管版,Lambda、Cloud Functions 几分钟部署事件驱动应用,托管 Kubernetes 支撑微服务。有特殊需求的公司可先用云托管开源,需要定制源码时再转向自管; - 现成数据连接器(Fivetran、Airbyte)让 API 连接功能被外包,工程师专注于更独特的业务问题。

激烈竞争让工具复杂性持续降低、功能持续增加,这种简化只会促进数据工程实践。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第11章《第11章 数据工程的未来》第11章导语;11.1 常青的数据工程生命周期;11.2 复杂性的下降和易用的数据工具的兴起(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0018.xhtml,来源项目 book-sources) - 结论依据:第11章导语说明本书聚焦长期不变的生命周期;11.1节论证易用工具不会消灭数据工程师而是让其向价值链上游移动;11.2节说明SaaS、云托管开源和托管连接器降低了复杂性。 - 原始内容:如果工具变得更容易使用,数据工程师就会向价值链上游移动,专注于更高级别的工作。