知识卡片

普通读书笔记卡 · 1206.b.1

缓慢变化维度三类

理解等级:中级

维度属性会随时间变化(如客户搬家改了邮编),用缓慢变化维度(SCD)跟踪。SCD 最多有 7 类,最常见的三类:

类型 做法 结果
第一类 覆盖现有维度记录 简单,但无法访问历史
第二类 记录变化时把旧记录标记为已更新(结束日期),插入一条新记录反映当前状态 保留完整历史
第三类 不新增行,而是新增字段(新邮编、变更日期),原字段改名为旧邮编 只保留有限历史

第二类的例子:客户维度有 EFF_StartDate 和 EFF_EndDate 两个日期字段。Joe Reis 的记录开始于 2019-01-04、结束于 9999-01-01——结束日期 9999-01-01 表示记录有效且未被更新。Matt Housley 有两条记录,开始日期分别为 2020-05-04 和 2021-09-19,说明他在 2021-09-19 更新了邮编。查询客户最新记录时,把结束日期条件设为 9999-01-01 即可。

实践中,第一类是大多数数仓的默认行为,第二类是最常见的。

注意:Kimball 方法难以搬到流数据——给定一条数据流,如何连续更新一个第二类 SCD 表?

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.2.4 批量分析数据的建模技术(Kimball模型:缓慢变化维度)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.2.4节Kimball部分介绍缓慢变化维度,以客户维度为例说明第二类用开始/结束日期保留历史、9999-01-01表示当前有效,并对比第一、二、三类的做法与使用情况。 - 原始内容:在所描述的缓慢变化维度的类型中,第一类是大多数数据仓库的默认行为,而第二类是我们在实践中最常看到的一种。