← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1206.a.1

三类事实表与设计五步

理解等级:中级

事实表是统一数仓层的主要产出,由键值部分(主键和外键,决定粒度)和事实度量组成;为易用和性能,还常存放退化的关键维度属性。Kimball 理论定义三类事实表:

类型 每行表示 更新方式 用途
事务事实表 一个事务事件,保留原始内容 记录后不再更改,增量更新 最细粒度,详细分析事务行为
周期快照事实表 一个规律时间周期内的聚集值或状态 周期结束后产生,增量更新 建立在事务事实表之上,维度更少、粒度更粗,但派生出的事实更多
累计快照事实表 一个事务从开始到结束的全部关键事件,多个日期字段 事件发生时间不确定,首次加载后允许更新(一般全量刷新) 追踪全生命周期与状态转换,如把下单、支付、发货、收货串成一条记录

设计步骤:

  1. 确定业务过程:事实表记录业务过程产生的事实,以还原任意时刻业务状态;一张表可对应一个或多个过程。
  2. 定义粒度:每张事实表有且只有唯一粒度,即每行的业务含义;粒度在业务上与技术上的主键等价,定义它可以避免表的业务含义模糊。
  3. 确定维度:维度依附于粒度,是粒度的环境描述(时间、区域、客户、产品等)。
  4. 确定事实:所有度量都必须与业务过程相关并满足所定义的粒度。
  5. 增加冗余维度属性:亿级事实表与维表关联在性能上是灾难性的,适当冗余可让下游直接用事实表完成大部分需求。

冗余的代价:维度属性可能变化,而已生成的事实表内容基本不再改变,于是事实表中记录的属性会与真实属性不一致,导致数据错误。所以冗余是一种需要权衡收益与弊端的优化,而不是默认做法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 数据体系建设 · 查看原书依据

      注意:维度属性冗余与模型的稳定性是有矛盾的,因为维度的属性是有可能改变的,如果冗余属性已经增加到事实表中,那么维度属性就与事实一起被记录到事实表中。

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第06章《第6章 数据体系建设》6.3.5 事实表设计(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0033.xhtml,来源项目 book-sources) - 结论依据:6.3.5节说明事实表构成,比较事务、周期快照、累计快照三类事实表,给出确定业务过程、定义粒度、确定维度、确定事实、增加冗余维度属性五步,并指出维度冗余与模型稳定性的矛盾。 - 原始内容:注意:维度属性冗余与模型的稳定性是有矛盾的,因为维度的属性是有可能改变的,如果冗余属性已经增加到事实表中,那么维度属性就与事实一起被记录到事实表中。