返回主题:密钥与凭证管理

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2280.h.1.a

数据工程的定义

理解等级:初级

各家对数据工程的定义五花八门(2022 年初精确搜索“什么是数据工程”有 9 万多个结果):有人说它为信息流动和访问创建接口和机制,有人分为以 SQL 为中心和以大数据为中心两类,有人说它是商业智能和数据仓库的超集,也有人说它就是数据的移动、操作和管理。共同的模式是:数据工程师获取数据、存储数据,并为他人准备数据。

本书的定义:数据工程是系统和流程的开发、实施和维护,这些系统和流程接收原始数据,产出支持下游用例(如分析和机器学习)的高质量、一致的信息。它是安全、数据管理、数据运维(DataOps)、数据架构、编排和软件工程的交集。数据工程师管理数据工程生命周期——从源系统获取数据开始,到为分析或机器学习提供数据结束。

生命周期把对话从技术转向数据本身及其服务目标:

组成 内容
五个阶段 生成、存储、获取、转换、服务
底层设计(贯穿全周期) 安全、数据管理、DataOps、数据架构、编排、软件工程

这个定义的两个要点:一是落点在“下游可用的高质量信息”,而不是工具集合;二是“开发、实施和维护”——持续运维是职责的一部分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 数据工程概述 · 查看原书依据

      数据工程是系统和流程的开发、实施和维护,这些系统和流程接收原始数据并生成支持下游用例(例如分析和机器学习)的高质量、一致的信息。

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第01章《第1章 数据工程概述》1.1.1 数据工程定义;1.1.2 数据工程生命周期(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0006.xhtml,来源项目 book-sources) - 结论依据:1.1节列举多位专家对数据工程的不同定义并归纳共同模式;1.1.1节给出本书对数据工程与数据工程师的定义;1.1.2节介绍生命周期五阶段与六项底层设计,说明它把对话从技术转向数据本身。 - 原始内容:数据工程是系统和流程的开发、实施和维护,这些系统和流程接收原始数据并生成支持下游用例(例如分析和机器学习)的高质量、一致的信息。