返回主题:企业数据战略、组织与价值评估

知识卡片

普通读书笔记卡 · 2280.h.1.a.2

从大数据工程师到生命周期工程师

理解等级:中级

作者把数据工程的演变分为几个时期,共同主题是“旧的又成了新的”:

时期 关键变化 角色
1980–2000 数据仓库(Inmon 1989 年命名)、关系数据库与 SQL、Kimball 与 Inmon 建模方法、MPP 数据库;互联网兴起 BI 工程师、ETL 开发、数仓工程师
2000 年代初 单机库被推到极限;商品硬件廉价;Google 发表 GFS(2003)与 MapReduce(2004)论文;Yahoo 开源 Hadoop(2006);AWS 推出 EC2、S3、DynamoDB,公有云出现 当代数据工程诞生
2000 年代末–2010 年代 Hadoop 生态成熟,代码优先取代 GUI 工具,批处理转向事件流 大数据工程师:维护大型集群、专注数据交付
2020 年代 工具走向分散化、模块化、托管化、高度抽象;现代数据栈 数据生命周期工程师

大数据为何“失去活力”:一个词——简化。开源大数据工具强大但需要大量照看,公司花数百万雇团队维护平台,工程师没时间创造业务价值;大肆宣传下,还有公司用几 GB 的数据搭 Hadoop 集群解决小数据问题。随着云与第三方把大数据抽象成易用服务,大数据处理变得如此寻常,“大数据工程师现在只是数据工程师”。

今天的重心上移:数据工程师仍保留底层编程能力,但角色越来越偏向价值链高层——安全、数据管理、DataOps、数据架构、编排和生命周期管理;关注点从“谁的数据最大”转向数据的管理、治理、可用性、可发现性和质量,设计管道时关心隐私、匿名化、数据垃圾回收和 GDPR、CCPA 合规。过去大企业才有的数据质量与治理等“企业级”内容重新受到重视,但强调去中心化与敏捷,而不是命令-控制。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第01章《第1章 数据工程概述》1.1.3 数据工程师的演变(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0006.xhtml,来源项目 book-sources) - 结论依据:1.1.3节按1980至2000年、2000年代初、2000年代至2010年代、2020年代梳理数据仓库、Google论文与Hadoop、公有云、大数据工程到数据生命周期工程的演变,分析大数据因简化需求而失去活力,并指出角色重心转向安全、数据管理与合规。 - 原始内容:大数据工程师现在只是数据工程师。