← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.4

数据成熟度的三个阶段

理解等级:中级

数据成熟度指组织向更高的数据利用率、功能和集成发展的程度,不取决于公司年龄或收入——初创公司可能比百年老店成熟,关键在于如何把数据用作竞争优势。作者用自己的简化模型:

阶段 特征 数据工程师要做的 要注意的陷阱
1 从数据开始 目标模糊、团队个位数、请求临时,工程师多面手 争取包括高管在内的关键利益相关者支持(最好有发起人);定义合适的数据架构;识别和审计支撑关键举措的数据;为未来的分析与数据科学打基础 不做出可见成功会消磨组织意志,但快速取胜会产生技术债,要有偿还计划;走出去与人交谈,避免孤岛;避免无差别繁重工作,尽量用现成方案;只在能创造竞争优势处自定义。不建议此时一头扎进 ML
2 用数据扩展 有正式数据实践,角色从通才转专家 建立正式实践;构建可扩展、健壮的架构;采用 DevOps 与 DataOps;建设支持 ML 的系统;继续只在有竞争优势处自定义 别被硅谷“社会证明”诱惑去追尖端技术,技术决策应由客户价值驱动;扩展的主要瓶颈不是节点和存储,而是数据工程团队,选易部署易管理的方案提高团队吞吐;从技术专家转向务实的领导,教组织如何用数据
3 以数据领先 公司由数据驱动,自助分析与 ML,新数据源无缝接入 自动化引入新数据;构建利用数据作为竞争优势的自定义工具;关注数据管理(治理、质量)与 DataOps;推广数据目录、血缘、元数据系统;高效协作,营造开放社区 自满会让组织退回低阶段;追求不带来价值的昂贵业余项目,技术干扰比前两阶段更危险

作者半开玩笑地称自己为“正在恢复的数据科学家”,正是来自在数据成熟度不足、缺乏数据工程支持时参与不成熟数据科学项目的经历。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第01章《第1章 数据工程概述》1.2.1 数据成熟度和数据工程师(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0006.xhtml,来源项目 book-sources) - 结论依据:1.2.1节定义数据成熟度并提出从数据开始、用数据扩展、以数据领先三阶段简化模型,逐阶段列出数据工程师的目标与需要注意的问题,包括早期不宜直接上ML、团队是扩展瓶颈、领先阶段的自满与技术干扰风险。 - 原始内容:扩展的主要瓶颈不是集群节点、存储或技术,而是数据工程团队。