知识卡片

结构图卡 · 1905.a.1

数仓分层传递分析数据

理解等级:中级

面对[[私有数据增加统计成本]],跨服务统计需把分散数据送入分析链路:

  1. ODS暂存多源原始数据。
  2. DW清洗并持久化一致的明细与汇总。
  3. DM按业务部门或应用再加工。

分层将源接入、公共口径和部门消费分开;设计前仍须调查源格式和分析需求。

结构图:

flowchart LR
    S[业务系统等数据源] -->|ETL| O[ODS 暂存原始数据]
    O -->|加工与统一| W[DW 明细与汇总]
    W -->|按业务需求再加工| M[DM 多个数据集市]
    M --> A[BI与分析应用]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用可伸缩微服务架构》第9章9.2.2节“数据仓库架构”(源文件:OEBPS/Text/chapter014.xhtml;图9-3:OEBPS/Images/385_1.jpg) - 结论依据:正文依次定义ODS、DW、DM的存储与加工职责;图9-3给出多源经ETL及三层到数据应用的路径。 - 原始内容:数据仓库通常采用分层设计,一般会分为临时数据存储层ODS(Operation Data Store,简称ODS)、数据仓库层DW(Data Warehouse,简称DW)、数据集市层DM(Data Mart,简称DM)三层。