知识卡片
宽表与不建模的代价
为什么宽表流行:Kimball、Inmon 诞生于数仓昂贵、自建、资源受限、存算紧耦合的年代。如今① 云存储便宜到不值得花时间找最省空间的方式;② JSON 等嵌套数据流行,源和分析系统的模式都很灵活。
宽表:常在列式库中创建的高度去范式化、包含许多字段的集合,可达成千上万列(关系表通常少于 100 列),字段可以是单值或嵌套数据,按与粒度紧密相关的键组织。宽表通常稀疏:关系库为每个字段分配固定空间,空值很费存储、读取也慢;列式库中空值几乎不占空间,只读所选列。宽表常通过模式演化逐步加字段形成,列式库加字段只是元数据变更。去掉连接让分析查询往往更快。
批评:放进宽表会丢失分析中的业务逻辑;更新数组中的元素等操作性能可能很差。作者建议:不关心建模、或数据量大且需要更多灵活性时用宽表,它也适合流数据;未来可能出现类似“轻范式化”的新方式。
完全不建模(直接查源):初创期常用,但要问:如何知道查询结果是否一致?源系统中的业务逻辑定义正确吗、答案可信吗?给源系统带来多大查询负载?
流数据建模:尚无共识,批处理技术难以迁移。挑战是半结构化数据的结构可能临时改变(物联网固件升级加字段、CDC 把日期字段变成字符串)。多数专家建议预测源数据变化、保持灵活模式,分析库中不设固定数据模型;对灵活模式的数据集做分析优化;用自动化方式对流中的异常和变化作出反应,而不是等报表出错。作者预计数据模型范式将巨变,可能把指标层、语义层和管道直接放在源系统之上的流数据层。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
最大的批评是当你将数据放到宽表时,你会失去分析中的业务逻辑。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.2.4 批量分析数据的建模技术(去范式化的宽表;如果不对数据进行建模会怎样);8.2.5 流数据的建模(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.2.4节说明宽表兴起的原因、稀疏性与列式存储的优势、批评与适用场景,以及不建模时需要追问的三个问题;8.2.5节说明流数据建模尚无共识、需保持灵活模式和自动化应对变化。
- 原始内容:最大的批评是当你将数据放到宽表时,你会失去分析中的业务逻辑。