知识卡片
数据成熟度的三个阶段
数据成熟度指组织向更高的数据利用率、功能和集成发展的程度,不取决于公司年龄或收入——初创公司可能比百年老店成熟,关键在于如何把数据用作竞争优势。作者用自己的简化模型:
| 阶段 | 特征 | 数据工程师要做的 | 要注意的陷阱 |
|---|---|---|---|
| 1 从数据开始 | 目标模糊、团队个位数、请求临时,工程师多面手 | 争取包括高管在内的关键利益相关者支持(最好有发起人);定义合适的数据架构;识别和审计支撑关键举措的数据;为未来的分析与数据科学打基础 | 不做出可见成功会消磨组织意志,但快速取胜会产生技术债,要有偿还计划;走出去与人交谈,避免孤岛;避免无差别繁重工作,尽量用现成方案;只在能创造竞争优势处自定义。不建议此时一头扎进 ML |
| 2 用数据扩展 | 有正式数据实践,角色从通才转专家 | 建立正式实践;构建可扩展、健壮的架构;采用 DevOps 与 DataOps;建设支持 ML 的系统;继续只在有竞争优势处自定义 | 别被硅谷“社会证明”诱惑去追尖端技术,技术决策应由客户价值驱动;扩展的主要瓶颈不是节点和存储,而是数据工程团队,选易部署易管理的方案提高团队吞吐;从技术专家转向务实的领导,教组织如何用数据 |
| 3 以数据领先 | 公司由数据驱动,自助分析与 ML,新数据源无缝接入 | 自动化引入新数据;构建利用数据作为竞争优势的自定义工具;关注数据管理(治理、质量)与 DataOps;推广数据目录、血缘、元数据系统;高效协作,营造开放社区 | 自满会让组织退回低阶段;追求不带来价值的昂贵业余项目,技术干扰比前两阶段更危险 |
作者半开玩笑地称自己为“正在恢复的数据科学家”,正是来自在数据成熟度不足、缺乏数据工程支持时参与不成熟数据科学项目的经历。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 数据工程概述 · 查看原书依据
扩展的主要瓶颈不是集群节点、存储或技术,而是数据工程团队。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第01章《第1章 数据工程概述》1.2.1 数据成熟度和数据工程师(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0006.xhtml,来源项目 book-sources)
- 结论依据:1.2.1节定义数据成熟度并提出从数据开始、用数据扩展、以数据领先三阶段简化模型,逐阶段列出数据工程师的目标与需要注意的问题,包括早期不宜直接上ML、团队是扩展瓶颈、领先阶段的自满与技术干扰风险。
- 原始内容:扩展的主要瓶颈不是集群节点、存储或技术,而是数据工程团队。