知识卡片
建模保持最低粒度
三层数据模型(从抽象到具体): - 概念模型:包含业务逻辑和规则,描述系统的数据。强烈建议用 ER 图可视化实体(订单、客户、产品)之间的关系; - 逻辑模型:补充实现细节,如客户 ID、名称、地址的类型,映射主键和外键; - 物理模型:定义逻辑模型在具体数据库系统中如何实现,加入具体的数据库、模式、表和配置。
成功的建模在开始阶段就引入业务利益相关者,获取数据定义和业务目标;它是每个人都需持续参与的全接触式活动。
粒度:数据存储和查询的最小单元,通常位于主键层级(客户 ID、订单 ID、产品 ID),常伴随日期或时间戳。
案例:一家刚起步做 BI 的小公司,数据工程师兼分析师接到需求:每日客户订单汇总报告(客户、当天订单数、总金额)。图省事的做法是从生产订单库抽数,直接汇总成只含报告所需数据的报告表——但一旦有人要更细粒度的报告,就得从头开始。有经验的工程师则建了包含客户订单全部明细(每个订单、商品、成本、商品 ID)的表,粒度在客户订单层级,既能按原样分析,也能汇总成统计。
原则:尽可能把数据建模在最低的粒度层级——细粒度数据很容易汇总,反之通常不可能从汇总数据还原明细。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
一般来说,你应该努力将你的数据建模维持在尽可能低的粒度层级。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.2.2 概念、逻辑和物理数据模型(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.2.2节介绍概念、逻辑、物理三层数据模型和引入业务利益相关者,并以每日订单报告为例说明应把数据建模在最低粒度。
- 原始内容:一般来说,你应该努力将你的数据建模维持在尽可能低的粒度层级。