知识卡片
显式声明定义与逻辑
数据准确性不只是忠实再现源系统中的事件值,还包括准确的数据定义和逻辑,二者必须贯穿全生命周期——从源系统、数据管道到 BI 工具。
- 数据定义:数据在组织中的共识。如“客户”在公司各部门要有统一精确的定义;定义变化时必须文档化,让所有数据使用方有据可查;
- 数据逻辑:规定指标计算公式,如销售总额、客户生命周期价值。合适的逻辑必须融汇数据定义和完整的统计方法——算客户流失率要先定义谁是客户,算净利润要有一套从收入中扣除哪些支出的规则。
组织知识的危害:定义和逻辑常被视为理所当然,以组织知识(institutional knowledge)形式口口相传,它有自己的生态,很大程度上会让“奇闻轶事”取代数据驱动的洞见、决策和行动。对策是在数据目录和生命周期各系统中正式声明数据定义和逻辑。
显式与隐式:多数定义是隐式的——为查询、仪表板或 ML 提供数据时,数据和指标总能持续准确地展示;写 SQL 时输入总是正确的,这包括上游管道的逻辑和定义。数据建模能让各类终端用户理解定义和逻辑。语义层整合业务定义和逻辑并使其可复用——一次建设,全局通用,是面向对象思想在指标和逻辑上的体现。
数据网格从根本上改变数据服务方式:不再由孤立的数据团队服务内部成员,而是每个业务领域团队承担去中心化、点对点的数据服务责任——对其他团队的数据消费负责,数据对应用、仪表板、BI 工具开箱即用,并准备自助仪表板和分析方法;其他团队的数据也可以通过嵌入式分析或 ML 特性集成进领域团队的软件中。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
数据准确性包括了准确的数据定义和逻辑,这两个要素必须融入数据的全生命周期,从源系统到数据管道,再到BI工具等。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第09章《第9章 为分析、机器学习和反向ETL提供数据服务》9.1.5 数据定义和逻辑;9.1.6 数据网格(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0015.xhtml,来源项目 book-sources)
- 结论依据:9.1.5节说明数据准确性包括数据定义和数据逻辑,指出组织知识口口相传的危害,主张在数据目录和系统中正式声明并用语义层复用;9.1.6节说明数据网格让领域团队承担去中心化的数据服务责任。
- 原始内容:数据准确性包括了准确的数据定义和逻辑,这两个要素必须融入数据的全生命周期,从源系统到数据管道,再到BI工具等。