知识卡片
数据体系四层与引用规范
多源原始数据简单堆积会导致存储管理成本高、易用性差、命名与口径不一。数据中台的数据体系是在全域原始数据基础上做标准定义和分层建模,应具备六个特征:覆盖全域、层次清晰(纵向分层、横向按主题域和业务过程划分)、准确一致(统一命名、含义、口径,专业团队建模)、性能提升、成本降低(避免烟囱式重复建设)、方便易用(越往后越能直接使用,把复杂处理前置,必要时用维度冗余、事实冗余、公共计算下沉、明细与汇总共存)。
四个分层:
| 分层 | 职责 |
|---|---|
| 贴源数据层 ODS | 采集汇聚各系统数据,尽量保留原始状态,只做简单整合、非结构化数据结构化或加日期标识,不深度清洗 |
| 统一数仓层 DW(含明细层 DWD、汇总层 DWS) | 对全历史业务过程数据建模,从业务易理解的视角重新组织,定义一致的指标和维度 |
| 标签数据层 TDM | 面向对象建模,通过 ID-Mapping 打通跨板块、跨数据域的同一对象,形成全域标签体系 |
| 应用数据层 ADS | 按业务需要从数仓层和标签层取数,加工特定数据,满足业务与性能需求 |
引用规范:贴源层只被统一数仓层使用;数仓层只被标签层和应用层使用;所有业务使用的数据都来自标签层和应用层,贴源层和数仓层不直接支撑业务。实践中业务急用而数仓层进度跟不上时,可能让标签层、应用层直接引用贴源层,但这会导致口径不一致,数仓层建好后要切换回去。
结构图:
flowchart BT
SRC[业务系统 · 日志 · IoT · 外部接口与文件] --> ODS[贴源数据层 ODS]
ODS --> DW[统一数仓层 DW<br/>明细 DWD · 汇总 DWS]
DW --> TDM[标签数据层 TDM]
DW --> ADS[应用数据层 ADS]
TDM --> ADS
TDM --> BIZ[业务使用]
ADS --> BIZ
ODS -. 不规范的临时捷径,需切回数仓层 .-> ADS
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 数据体系建设 · 查看原书依据
贴源数据层、统一数仓层只能被标签数据层、应用数据层在加工标签数据和组装应用数据时引用,贴源数据层、统一数仓层不直接支撑业务,所有业务使用的数据均来源于标签数据层和应用数据层。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第06章《第6章 数据体系建设》6.1 数据体系规划(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0031.xhtml,来源项目 book-sources)
- 结论依据:6.1节说明数据体系应具备的六个特征,介绍贴源、统一数仓、标签、应用四层的职责,规定各层之间的数据读取与引用规范,并指出直接引用贴源层导致口径不一致的风险。结构图依据正文的分层与引用规则绘制。
- 原始内容:贴源数据层、统一数仓层只能被标签数据层、应用数据层在加工标签数据和组装应用数据时引用,贴源数据层、统一数仓层不直接支撑业务,所有业务使用的数据均来源于标签数据层和应用数据层。