知识卡片

结构图卡 · 2274.g.2.a.1.c

数据中台总体架构

理解等级:中级

数据中台位于底层云基础底座与上层业务应用之间,屏蔽存储计算平台的技术复杂性,降低使用门槛和对技术人才的要求。它由六部分组成,形成“建资产—管资产—用资产—保运转”的链条:

  1. 数据汇聚:中台本身几乎不产生数据,数据来自业务系统、日志、IoT、文件和互联网,通过数据库同步、埋点、爬虫、消息队列等方式离线批量或实时采集,集中存储。
  2. 数据开发:一整套数据加工与过程管控工具,提供离线、实时和算法开发,以及任务管理、发布、运维、监控、告警,把原始堆砌的数据加工成对业务有价值的形式。
  3. 数据体系:有了汇聚和开发就具备传统数仓能力;为保证一致性和可复用,避免烟囱式建设,数据按贴源数据层、统一数仓层、标签数据层、应用数据层分层统一建设。
  4. 数据资产管理:以业务人员能理解的方式展现数据资产,管理资产目录、元数据、数据质量、血缘和生命周期,便于全员探索和发现数据价值(受权限和安全管控)。
  5. 数据应用:把数据变为业务应用能力,是中台存在的价值所在;中台无法自带满足所有需求的应用,而是提供生成和管控应用的组件,以便快速定制。
  6. 数据运营体系与数据安全管理:没有它们,中台很可能像一般项目一样,在搭起平台、建了部分数据、试了一两个场景后止步,无法持续发挥价值。

结构图:

flowchart TB
  BIZ[业务:面向内部 · 面向外部客户 · 面向合作伙伴<br/>经身份认证访问]
  subgraph ZT[数据中台]
    YY[数据应用<br/>数据服务 · BI分析 · 智能产品 · 数据可视化]
    ZC[数据资产管理<br/>资产门户 · 标准 · 质量 · 数据类目 · 标签类目]
    TX[数据体系<br/>贴源数据 · 统一数仓 · 标签数据 · 应用数据]
    HJ[数据汇聚<br/>异构网络与数据源 · 离线同步 · 实时接入]
    KF[数据开发<br/>离线 · 实时 · 算法 · 调度 · 运维 · 监控告警]
    YX[数据运营体系 纵向保障]
    AQ[数据安全管理 纵向保障]
  end
  BASE[底座:存储计算组件 Kafka/Oracle/Spark/Hadoop/MySQL<br/>云基础设施 网络 · 多云混合云 · 本地机房]
  BASE --> HJ
  BASE --> KF
  HJ --> TX
  KF --> TX
  TX --> ZC --> YY --> BIZ
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 数据中台建设与架构 · 查看原书依据

      数据运营体系和数据安全管理是数据中台得以健康、持续运转的基础,如果没有它们,数据中台很可能像个一般项目一样,会在搭建起平台、建设部分数据、尝试一两个应用场景之后止步,无法正常地持续运营。

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第02章《第2章 数据中台建设与架构》2.3 数据中台架构(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0016.xhtml,来源项目 book-sources) - 结论依据:2.3节说明数据中台位于云基础底座与业务应用之间,依次介绍数据汇聚、数据开发、数据体系(四层)、数据资产管理、数据应用、数据运营体系和数据安全管理的职责与关系。结构图按图2-7重绘。 - 原始内容:数据运营体系和数据安全管理是数据中台得以健康、持续运转的基础,如果没有它们,数据中台很可能像个一般项目一样,会在搭建起平台、建设部分数据、尝试一两个应用场景之后止步,无法正常地持续运营。