知识卡片
三类事实表与设计五步
事实表是统一数仓层的主要产出,由键值部分(主键和外键,决定粒度)和事实度量组成;为易用和性能,还常存放退化的关键维度属性。Kimball 理论定义三类事实表:
| 类型 | 每行表示 | 更新方式 | 用途 |
|---|---|---|---|
| 事务事实表 | 一个事务事件,保留原始内容 | 记录后不再更改,增量更新 | 最细粒度,详细分析事务行为 |
| 周期快照事实表 | 一个规律时间周期内的聚集值或状态 | 周期结束后产生,增量更新 | 建立在事务事实表之上,维度更少、粒度更粗,但派生出的事实更多 |
| 累计快照事实表 | 一个事务从开始到结束的全部关键事件,多个日期字段 | 事件发生时间不确定,首次加载后允许更新(一般全量刷新) | 追踪全生命周期与状态转换,如把下单、支付、发货、收货串成一条记录 |
设计步骤:
- 确定业务过程:事实表记录业务过程产生的事实,以还原任意时刻业务状态;一张表可对应一个或多个过程。
- 定义粒度:每张事实表有且只有唯一粒度,即每行的业务含义;粒度在业务上与技术上的主键等价,定义它可以避免表的业务含义模糊。
- 确定维度:维度依附于粒度,是粒度的环境描述(时间、区域、客户、产品等)。
- 确定事实:所有度量都必须与业务过程相关并满足所定义的粒度。
- 增加冗余维度属性:亿级事实表与维表关联在性能上是灾难性的,适当冗余可让下游直接用事实表完成大部分需求。
冗余的代价:维度属性可能变化,而已生成的事实表内容基本不再改变,于是事实表中记录的属性会与真实属性不一致,导致数据错误。所以冗余是一种需要权衡收益与弊端的优化,而不是默认做法。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 数据体系建设 · 查看原书依据
注意:维度属性冗余与模型的稳定性是有矛盾的,因为维度的属性是有可能改变的,如果冗余属性已经增加到事实表中,那么维度属性就与事实一起被记录到事实表中。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第06章《第6章 数据体系建设》6.3.5 事实表设计(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0033.xhtml,来源项目 book-sources)
- 结论依据:6.3.5节说明事实表构成,比较事务、周期快照、累计快照三类事实表,给出确定业务过程、定义粒度、确定维度、确定事实、增加冗余维度属性五步,并指出维度冗余与模型稳定性的矛盾。
- 原始内容:注意:维度属性冗余与模型的稳定性是有矛盾的,因为维度的属性是有可能改变的,如果冗余属性已经增加到事实表中,那么维度属性就与事实一起被记录到事实表中。