知识卡片
元数据是数据的地图
三个层次的理解:
- 元数据是描述数据的数据。比喻是“数据的户口本”:人的户口本记录姓名、年龄、身份证号、住址、迁入信息和亲属关系;一张表的元数据就是表名、所有者、主键、索引、字段以及与其他表的关系。
- 元数据管理是数据治理的核心和基础。没有地图的将军打不了胜仗,元数据就是组织内数据的地图:有哪些数据、在哪些系统库表字段、全量和日增量多少、分布在哪、彼此如何流动。没有它,资产管理就是盲人摸象。
- 描述元数据的数据叫元模型。
分类与采集:在中台中元数据贯穿数据源、加工过程、指标层、标签层、服务层和应用层;业内通常分为技术元数据(库表结构、约束、模型、ETL 和 SQL 程序)、业务元数据(指标、代码、术语)和管理元数据(所有者、质量定责、安全等级)。采集通过数据库直连、接口、日志文件等方式自动或手工进行,通常组织存入关系型数据库。
管理动作:按角色授权共享,增删改须经元数据管理员审核;变更历史查询与版本比对;相似元数据对比(如找出两张近似表的细微差异);统计各类元数据数量。
两种关键应用(方向相反):
- 血缘分析指向上游:以历史事实记录数据的来源和处理过程,发现问题数据时可追根溯源,快速定位来源和加工流程;
- 影响性分析指向下游:修改数据结构或 ETL 程序前,快速定位会影响哪些下游系统,降低升级改造风险。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 数据资产管理 · 查看原书依据
数据影响性分析和血缘分析正好相反,血缘分析指向数据的上游来源,影响性分析指向数据的下游。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第07章《第7章 数据资产管理》7.6.3 元数据管理(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0042.xhtml,来源项目 book-sources)
- 结论依据:7.6.3节用户口本和军事地图比喻说明元数据的含义与地位,介绍元模型、技术/业务/管理三类元数据及采集方式、共享维护等管理动作,以及指向上游的血缘分析和指向下游的影响性分析。
- 原始内容:数据影响性分析和血缘分析正好相反,血缘分析指向数据的上游来源,影响性分析指向数据的下游。