知识卡片

普通读书笔记卡 · 2280.h.1.a.5

A型与B型数据工程师

理解等级:中级

技能集:数据工程师的技能就是底层设计——安全、数据管理、DataOps、数据架构、软件工程,外加评估工具在生命周期中如何配合、理解源系统和下游如何使用数据;还要沿成本、敏捷性、可扩展性、简单性、复用性和互操作性不断权衡。

不做什么:通常不直接构建 ML 模型、做报表或仪表板、做数据分析、定 KPI、开发应用,但要足够理解这些领域以服务利益相关者。

业务职责:与技术和非技术人员沟通(关注组织层级、汇报关系和孤岛);界定并收集需求;理解敏捷、DevOps、DataOps 是文化,以为能靠技术解决是“非常危险的错误”;控制成本(价值实现时间、总拥有成本、机会成本);持续学习并能筛选哪些新发展真正相关。作者观察到数据团队的成败很少取决于技术,而取决于与利益相关者的沟通。

技术职责:数据工程师必须能写生产级代码——托管服务取代了大量底层编程,但不能写生产代码的数据工程师会受到严重阻碍。主要语言是 SQL、Python、JVM 语言(Java、Scala)和 bash;SQL 在大数据时代被冷落后重新成为数据通用语言(Spark SQL、BigQuery、Snowflake、Flink 等都支持),称职的数据工程师应非常精通 SQL,但也要能识别 SQL 不适合的场景(如在 NLP 管道中做分词),改用 Spark 等原生代码。保持同步的建议:关注基本面以了解不变的东西,关注持续发展以了解方向。

两类数据工程师(借用数据科学的 A/B 型说法):

类型 含义 常见于
A 型(Abstraction,抽象) 避免无差别繁重工作,尽量用现成产品、托管服务和工具管理生命周期 各行业、各成熟度
B 型(Build,构建) 构建能扩展和利用公司核心竞争力的数据工具和系统 成熟度第 2、3 阶段,或初始用例独特且关键时

两者可能在同一公司,甚至是同一个人;更常见的是先雇 A 型打基础,再按需学习或聘用 B 型技能。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第01章《第1章 数据工程概述》1.2 数据工程技能和活动;1.2.2~1.2.5(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0006.xhtml,来源项目 book-sources) - 结论依据:1.2节列出数据工程师的技能集、权衡轴线与不负责的工作;1.2.2~1.2.4节说明背景与知识体系、业务职责(沟通、需求、文化、成本、学习)和技术职责(生产级编码、主要语言、SQL的不合理有效性与局限、保持同步);1.2.5节区分A型与B型数据工程师。 - 原始内容:简而言之,无法编写生产级代码的数据工程师将受到严重阻碍,而且我们认为这种情况不会很快改变。