知识卡片
A型与B型数据工程师
技能集:数据工程师的技能就是底层设计——安全、数据管理、DataOps、数据架构、软件工程,外加评估工具在生命周期中如何配合、理解源系统和下游如何使用数据;还要沿成本、敏捷性、可扩展性、简单性、复用性和互操作性不断权衡。
不做什么:通常不直接构建 ML 模型、做报表或仪表板、做数据分析、定 KPI、开发应用,但要足够理解这些领域以服务利益相关者。
业务职责:与技术和非技术人员沟通(关注组织层级、汇报关系和孤岛);界定并收集需求;理解敏捷、DevOps、DataOps 是文化,以为能靠技术解决是“非常危险的错误”;控制成本(价值实现时间、总拥有成本、机会成本);持续学习并能筛选哪些新发展真正相关。作者观察到数据团队的成败很少取决于技术,而取决于与利益相关者的沟通。
技术职责:数据工程师必须能写生产级代码——托管服务取代了大量底层编程,但不能写生产代码的数据工程师会受到严重阻碍。主要语言是 SQL、Python、JVM 语言(Java、Scala)和 bash;SQL 在大数据时代被冷落后重新成为数据通用语言(Spark SQL、BigQuery、Snowflake、Flink 等都支持),称职的数据工程师应非常精通 SQL,但也要能识别 SQL 不适合的场景(如在 NLP 管道中做分词),改用 Spark 等原生代码。保持同步的建议:关注基本面以了解不变的东西,关注持续发展以了解方向。
两类数据工程师(借用数据科学的 A/B 型说法):
| 类型 | 含义 | 常见于 |
|---|---|---|
| A 型(Abstraction,抽象) | 避免无差别繁重工作,尽量用现成产品、托管服务和工具管理生命周期 | 各行业、各成熟度 |
| B 型(Build,构建) | 构建能扩展和利用公司核心竞争力的数据工具和系统 | 成熟度第 2、3 阶段,或初始用例独特且关键时 |
两者可能在同一公司,甚至是同一个人;更常见的是先雇 A 型打基础,再按需学习或聘用 B 型技能。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 数据工程概述 · 查看原书依据
简而言之,无法编写生产级代码的数据工程师将受到严重阻碍,而且我们认为这种情况不会很快改变。