知识卡片
数据治理的三个核心类别
数据管理(DAMA DMBOK 定义)是在数据和信息资产全生命周期中交付、控制、保护和提高数据价值的计划、政策、程序和实践的开发、执行和监督。曾为大公司保留的治理、主数据、质量、元数据管理正渗透到各种规模的公司——数据工程正在“企业化”。没有管理数据的框架,数据工程师只是在真空中操作的技术人员。
治理做得不好的典型场景:分析师接到报表请求,不知道用什么数据,花数小时在事务库几十张表里猜字段,做出“方向正确”但不确定准确的报告,接收者也质疑,整个公司对自身业绩困惑,业务规划无法进行。
数据治理的三个核心类别:
- 可发现性:用户能快速可靠地找到所需数据,知道来源、关系和含义。依靠元数据(自动生成与人工生成;工具可爬库找关系、监控管道跟踪来源去向,但也要有以人为本的社会元素,如 Airbnb 的 Dataportal)与主数据管理。DMBOK 的四类元数据:
- 业务元数据:定义、规则、所有者(例:“客户”是过去 90 天购买过的人,还是开业以来购买过的人?);
- 技术元数据:数据模型、血缘、字段映射、管道工作流、模式元数据(对象存储不管模式,需另设元数据存储;云数仓内部管理);
- 操作元数据:运行统计、作业 ID、日志、错误;
- 参考元数据:内部代码、地理代码、计量单位等查找数据,变化缓慢;
- 安全;
- 可问责性:指定一个人负责一部分数据,协调其他利益相关者的治理活动;负责人不一定是数据工程师,粒度可以细到跨多个系统的单个字段(如客户 ID)。
数据质量——“我可以相信这些数据吗?”——是“与预期相比你得到了什么”。三个特征:准确性(真实、无重复、数值准确;如把机器人流量误当人类就是准确性问题)、完整性、及时性。离线观看视频广告、联网后才上传浏览数据,平台如何计费?这类迟到数据问题无法纯靠技术解决,工程师要确定迟到数据的标准并统一执行。
主数据管理(MDM) 为员工、客户、产品、位置等业务实体构建一致定义(黄金记录),常由跨组织的专门团队负责,数据工程师要与之协作(如构建返回标准地址的 API)。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 数据工程生命周期 · 查看原书依据
从根本上说,这个问题是无法通过纯粹的技术手段解决的。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.2.2 数据管理·数据治理;数据质量;主数据管理(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources)
- 结论依据:2.2.2节给出DMBOK的数据管理定义与数据管理的各个方面,以分析师猜字段的例子说明治理不足的后果,介绍数据治理的可发现性(元数据四类与人本元数据)、安全、可问责性三个核心类别,以及数据质量的准确性、完整性、及时性和迟到数据问题、主数据管理与黄金记录。
- 原始内容:从根本上说,这个问题是无法通过纯粹的技术手段解决的。