知识卡片
数据角色边界的融合
界限越来越模糊:软件工程、数据工程、数据科学、ML 工程之间的界限正在模糊。许多数据科学家(包括作者)通过有机过程转为数据工程师——他们的任务是做数据科学,却缺乏工具,只好去设计和构建服务于生命周期的系统。
简化带来的变化:数据科学家花在收集和处理数据上的时间更少;数据工程师花在管理服务器、配置等低级任务上的时间更少,“企业级”数据工程更普遍。
两类可能出现的新角色: 1. 介于 ML 工程与数据工程之间的角色:随着 ML 工具易用、托管云 ML 服务增强,ML 正从点对点探索和模型开发转变为一门操作学科。这类工程师了解算法、ML 技术、模型优化、模型监控和数据监控,主要任务是创建或利用自动训练模型的系统、监控性能,把众所周知的模型类型变成可运作的完整 ML 流程,同时监控数据管道和质量。ML 工程师则更加专业化,处理尚在研究阶段、不成熟的模型; 2. 软件工程与数据工程的交叉角色:融合传统应用与分析的数据应用程序推动这一趋势。软件工程师需深入了解流处理、数据管道、数据建模、数据质量,打破“各扫门前雪”;数据工程师被整合进应用开发团队;应用后端与数据工程工具的界限通过流和事件驱动架构深度集成而消减。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 数据工程的未来 · 查看原书依据
随着机器学习工具集变得更容易使用和托管云机器学习服务的能力增长,机器学习正在从点对点探索和模型开发转变为一门操作学科。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第11章《第11章 数据工程的未来》11.5 数据工程师的头衔和职责将发生的变化(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0018.xhtml,来源项目 book-sources)
- 结论依据:11.5节指出软件工程、数据工程、数据科学、ML工程的边界在模糊,简化让各角色减少低级工作,并预测ML与数据工程之间、软件与数据工程之间将出现新的交叉角色。
- 原始内容:随着机器学习工具集变得更容易使用和托管云机器学习服务的能力增长,机器学习正在从点对点探索和模型开发转变为一门操作学科。