← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2782.a.1.c

元数据是数据的地图

理解等级:中级

三个层次的理解:

  1. 元数据是描述数据的数据。比喻是“数据的户口本”:人的户口本记录姓名、年龄、身份证号、住址、迁入信息和亲属关系;一张表的元数据就是表名、所有者、主键、索引、字段以及与其他表的关系。
  2. 元数据管理是数据治理的核心和基础。没有地图的将军打不了胜仗,元数据就是组织内数据的地图:有哪些数据、在哪些系统库表字段、全量和日增量多少、分布在哪、彼此如何流动。没有它,资产管理就是盲人摸象。
  3. 描述元数据的数据叫元模型。

分类与采集:在中台中元数据贯穿数据源、加工过程、指标层、标签层、服务层和应用层;业内通常分为技术元数据(库表结构、约束、模型、ETL 和 SQL 程序)、业务元数据(指标、代码、术语)和管理元数据(所有者、质量定责、安全等级)。采集通过数据库直连、接口、日志文件等方式自动或手工进行,通常组织存入关系型数据库。

管理动作:按角色授权共享,增删改须经元数据管理员审核;变更历史查询与版本比对;相似元数据对比(如找出两张近似表的细微差异);统计各类元数据数量。

两种关键应用(方向相反):

  • 血缘分析指向上游:以历史事实记录数据的来源和处理过程,发现问题数据时可追根溯源,快速定位来源和加工流程;
  • 影响性分析指向下游:修改数据结构或 ETL 程序前,快速定位会影响哪些下游系统,降低升级改造风险。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第07章《第7章 数据资产管理》7.6.3 元数据管理(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0042.xhtml,来源项目 book-sources) - 结论依据:7.6.3节用户口本和军事地图比喻说明元数据的含义与地位,介绍元模型、技术/业务/管理三类元数据及采集方式、共享维护等管理动作,以及指向上游的血缘分析和指向下游的影响性分析。 - 原始内容:数据影响性分析和血缘分析正好相反,血缘分析指向数据的上游来源,影响性分析指向数据的下游。