知识卡片

普通读书笔记卡 · 2280.h.1.a.6

数据工程师的上下游与方向

理解等级:初级

两个方向:

  • 面向外部:与社交、IoT、电商等外部应用的用户对齐,收集、存储和处理这些应用的事务与事件数据,系统形成“应用→数据管道→应用”的反馈循环。难点是查询并发更高、要严格限制单个用户能运行的查询以控制其对基础设施的影响、多租户数据(多个客户的数据在同一张表)下的安全更复杂;
  • 面向内部:为 BI 仪表板、报表、业务流程、数据科学和 ML 模型建设维护管道和数仓。

两者常混在一起,面向内部的数据往往是面向外部数据的前提,但两组用户对并发、安全的要求截然不同。

数据工程师是数据生产者与数据消费者之间的枢纽:

方向 角色 协作要点
上游 数据架构师 设计数据管理蓝图与治理策略;云让架构决策常在实施中做出,数据工程师可能承担其职责,需懂架构实践
上游 软件工程师 生成内部数据(应用事件与日志);应从新项目一开始协调,了解数据量、频率、格式,设定上游预期
上游/下游 DevOps、SRE 通过运营监控产生数据,也可能消费仪表板
下游 数据科学家 建预测模型;数据工程师帮其打通生产路径
下游 数据分析师 关注过去或现在,用 SQL、电子表格、BI 工具;其领域知识对提升数据质量很有价值
下游 ML 工程师、AI 研究员 训练与部署模型、MLOps;界限与数据工程模糊

与业务领导:CEO、CIO(面向内部 IT)、CTO(面向外部应用,常为数据工程师的汇报线)、CDO(数据资产与战略,2002 年始于 Capital One)、CAO(分析)、首席算法官;大型举措(如云迁移)与项目经理、数据产品与产品经理协作。数据工程师要么作为集中式团队承接请求,要么作为资源分配给特定经理、项目或产品。

作者的结语:公司不会只为破解孤立的代码而雇用工程师;要配得上“工程师”的头衔,就应深入了解要解决的问题、可用的工具以及一起工作和服务的人。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 数据工程概述 · 查看原书依据

      数据工程师是数据生产者[如软件工程师、数据架构师和DevOps或站点可靠性工程师(Site Reliability Engineer,SRE)]与数据消费者(如数据分析师、数据科学家和机器学习工程师)之间的枢纽。

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第01章《第1章 数据工程概述》1.3 组织内部的数据工程师(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0006.xhtml,来源项目 book-sources) - 结论依据:1.3.1节区分面向外部与面向内部的数据工程及其并发、安全差异;1.3.2节说明数据工程师作为生产者与消费者的枢纽,逐一介绍数据架构师、软件工程师、DevOps与SRE、数据科学家、数据分析师、ML工程师与AI研究员;1.3.3节介绍与各类C级高管、项目经理、产品经理的协作。 - 原始内容:数据工程师是数据生产者[如软件工程师、数据架构师和DevOps或站点可靠性工程师(Site Reliability Engineer,SRE)]与数据消费者(如数据分析师、数据科学家和机器学习工程师)之间的枢纽。