知识卡片
从大数据工程师到生命周期工程师
作者把数据工程的演变分为几个时期,共同主题是“旧的又成了新的”:
| 时期 | 关键变化 | 角色 |
|---|---|---|
| 1980–2000 | 数据仓库(Inmon 1989 年命名)、关系数据库与 SQL、Kimball 与 Inmon 建模方法、MPP 数据库;互联网兴起 | BI 工程师、ETL 开发、数仓工程师 |
| 2000 年代初 | 单机库被推到极限;商品硬件廉价;Google 发表 GFS(2003)与 MapReduce(2004)论文;Yahoo 开源 Hadoop(2006);AWS 推出 EC2、S3、DynamoDB,公有云出现 | 当代数据工程诞生 |
| 2000 年代末–2010 年代 | Hadoop 生态成熟,代码优先取代 GUI 工具,批处理转向事件流 | 大数据工程师:维护大型集群、专注数据交付 |
| 2020 年代 | 工具走向分散化、模块化、托管化、高度抽象;现代数据栈 | 数据生命周期工程师 |
大数据为何“失去活力”:一个词——简化。开源大数据工具强大但需要大量照看,公司花数百万雇团队维护平台,工程师没时间创造业务价值;大肆宣传下,还有公司用几 GB 的数据搭 Hadoop 集群解决小数据问题。随着云与第三方把大数据抽象成易用服务,大数据处理变得如此寻常,“大数据工程师现在只是数据工程师”。
今天的重心上移:数据工程师仍保留底层编程能力,但角色越来越偏向价值链高层——安全、数据管理、DataOps、数据架构、编排和生命周期管理;关注点从“谁的数据最大”转向数据的管理、治理、可用性、可发现性和质量,设计管道时关心隐私、匿名化、数据垃圾回收和 GDPR、CCPA 合规。过去大企业才有的数据质量与治理等“企业级”内容重新受到重视,但强调去中心化与敏捷,而不是命令-控制。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 数据工程概述 · 查看原书依据
大数据工程师现在只是数据工程师。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第01章《第1章 数据工程概述》1.1.3 数据工程师的演变(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0006.xhtml,来源项目 book-sources)
- 结论依据:1.1.3节按1980至2000年、2000年代初、2000年代至2010年代、2020年代梳理数据仓库、Google论文与Hadoop、公有云、大数据工程到数据生命周期工程的演变,分析大数据因简化需求而失去活力,并指出角色重心转向安全、数据管理与合规。
- 原始内容:大数据工程师现在只是数据工程师。