返回主题:企业数据战略、组织与价值评估

知识卡片

普通读书笔记卡 · 2280.h.1.a.3

数据工程在数据科学上游

理解等级:初级

作者认为数据工程与数据科学、分析学是分开且互补的学科:数据工程位于数据科学上游,提供数据科学家使用的输入。

数据科学需求层次(Monica Rogati,2017):AI 和机器学习在金字塔顶端,下面是数据移动与存储、收集、基础设施等“平凡”层。估计数据科学家 70%~80% 的时间花在最下面三层(收集、清洗、处理数据),很少时间做分析和 ML。Rogati 认为在做 AI、ML 之前,公司要先建立坚实的数据基础。

作者对“80% 时间在清洗数据”的看法:这个数字通常反映了不成熟的数据科学和数据工程实践——

  • 数据科学家没接受过设计生产级数据系统的训练,缺乏数据工程支持时只能随意地做;
  • 只在单机工作站上工作被迫对数据下采样,使准备更复杂并可能影响模型质量;
  • 本地开发的代码和环境难以部署到生产,缺乏自动化。

如果数据工程师做好工作并成功协作,数据科学家在最初的探索之后就不应再花时间收集、清洗和准备数据;理想情况下数据科学家应把 90% 以上时间放在金字塔顶层。对“生产就绪的数据科学”的需求,正是数据工程专业兴起的重要驱动力,数据工程师要帮数据科学家打通到生产的路径,并尽可能把准备工作自动化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第01章《第1章 数据工程概述》1.1.4 数据工程与数据科学;1.3.2 下游利益相关者·数据科学家(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0006.xhtml,来源项目 book-sources) - 结论依据:1.1.4节说明数据工程位于数据科学上游、介绍Rogati的数据科学需求层次及70%~80%时间花在底层的估计;1.3.2节数据科学家部分指出该比例反映不成熟实践并列出原因,主张数据工程师自动化数据准备、为数据科学打通生产路径。 - 原始内容:如果数据工程师完成了他们的工作并成功地进行了协作,那么数据科学家不应该在最初的探索性工作之后花时间收集、清洗和准备数据。