知识卡片
数据模型连接业务
数据建模常被忽视:数据团队常在不清楚什么数据对业务有用时就急于建系统。良好的数据架构必须反映使用数据的组织的业务目标和业务逻辑,数据建模为数据设计承上启下的结构,是让数据对业务有用的关键步骤。
钟摆:规范化从 RDBMS 早期就用于建模,数仓建模技术始于 20 世纪 90 年代初。21 世纪 10 年代,数据湖 1.0、NoSQL 和大数据让工程师有时为性能而忽视传统建模,缺乏严格建模造成了数据沼泽——大量冗余、不匹配或错误的数据。如今数据治理和数据质量日益普及,推动了对连贯业务逻辑的需求,建模重新受到重视;但作者认为还需要新范式来真正拥抱流数据和 ML。
数据模型表示数据与现实世界的联系方式,反映数据如何结构化和标准化才能最好地反映组织的流程、定义、工作流和逻辑。好的模型能反映组织内部沟通和工作如何流动;糟糕的或不存在的模型杂乱、含糊、不连贯。建模像用牙线和睡好觉一样,被认为是好事却常被忽视。
关键是关注模型如何转化为业务成果。例子:不同部门对“客户”的定义可能不同——过去 30 天买过东西的人算客户吗?6 个月或 1 年没买过呢?仔细定义和建模客户数据,会对下游客户行为报告和客户流失模型产生巨大影响,因为“距上次购买的时间”是关键变量。好的数据模型包含前后一致的定义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
对数据进行建模的关键是要关注如何将模型转化为业务成果。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.2 数据建模;8.2.1 什么是数据模型(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.2节说明数据建模的重要性与历史起伏;8.2.1节定义数据模型,强调关注业务成果并以“客户”定义为例说明一致定义的价值。
- 原始内容:对数据进行建模的关键是要关注如何将模型转化为业务成果。