知识卡片
数仓分层传递分析数据
面对[[私有数据增加统计成本]],跨服务统计需把分散数据送入分析链路:
- ODS暂存多源原始数据。
- DW清洗并持久化一致的明细与汇总。
- DM按业务部门或应用再加工。
分层将源接入、公共口径和部门消费分开;设计前仍须调查源格式和分析需求。
结构图:
flowchart LR
S[业务系统等数据源] -->|ETL| O[ODS 暂存原始数据]
O -->|加工与统一| W[DW 明细与汇总]
W -->|按业务需求再加工| M[DM 多个数据集市]
M --> A[BI与分析应用]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用可伸缩微服务架构》第9章9.2.2节“数据仓库架构”(源文件:OEBPS/Text/chapter014.xhtml;图9-3:OEBPS/Images/385_1.jpg)
- 结论依据:正文依次定义ODS、DW、DM的存储与加工职责;图9-3给出多源经ETL及三层到数据应用的路径。
- 原始内容:数据仓库通常采用分层设计,一般会分为临时数据存储层ODS(Operation Data Store,简称ODS)、数据仓库层DW(Data Warehouse,简称DW)、数据集市层DM(Data Mart,简称DM)三层。