← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.8.h

从数据仓库到云数据仓库

理解等级:中级

数据仓库是用于报告和分析的中央数据中心,数据高度格式化、结构化,是最古老和最完善的数据架构之一。Inmon 1989 年的定义——“一个面向主题的、集成的、非易失性的和时变的数据集合,以支持管理决策”——今天仍然重要。过去只有预算数百万美元的企业负担得起,云上即付即得模式让小公司也能使用。

两种架构视角:组织型(按业务团队结构和流程组织数据)与技术型(如 MPP),两者常相互认同但不必然绑定。

组织型数仓的两个特点:

  1. 把 OLAP 与生产库(OLTP)分离:把数据移到独立物理系统,减轻生产负载并提升分析性能;
  2. 集中和组织数据:传统用 ETL——抽取源数据,转换为清洗标准化、高度建模的形式并实施业务逻辑,加载到数仓,再分发到满足各业务线需求的数据集市;这与 DBA、ETL 开发团队执行业务领导指示的组织结构相伴。

技术演进:MPP 系统 20 世纪 80 年代流行,支持关系 SQL 语义并为并行扫描大量数据优化;近年从行存转向列存以支持更大数据和查询。

ELT:数据几乎直接从生产系统搬到数仓的暂存区(原始格式),转换直接在数仓中进行,利用云数仓的巨大算力;在流式安排中也流行(CDC 事件流入暂存区,再在数仓转换)。另一种 ELT 是大数据时代的读时转换。

云数据仓库:Amazon Redshift 开启革命——不必为 MPP 系统做多年容量规划、签数百万美元合同,可按需启动、逐步扩大,为特定负载临时开集群用完即删。BigQuery、Snowflake 推广计算与存储分离:数据放在几乎无限的对象存储中,按需提升算力。云数仓能处理单查询 PB 级数据、每行数十 MB 的文本或复杂 JSON,覆盖了很多过去需要 Hadoop 的场景;作者认为影响之大,或许该放弃“数据仓库”这个词,它们正演变成功能更广的数据平台。

数据集市是数仓的更精细子集,服务单个部门或业务线:让分析和报表开发更易访问数据,并在 ETL/ELT 之外提供额外的转换阶段(预先连接和聚合),显著提升复杂查询性能。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第03章《第3章 设计好的数据架构》3.4.1 数据仓库(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0008.xhtml,来源项目 book-sources) - 结论依据:3.4.1节给出Inmon的数据仓库定义,区分组织型与技术型数仓,说明OLAP与OLTP分离、ETL与数据集市、MPP从行存到列存、ELT的两种形式、Redshift与计算存储分离带来的云数仓革命以及数据集市的两个存在理由。 - 原始内容:1989年,Bill Inmon提出了数据仓库的概念,他将其描述为“一个面向主题的、集成的、非易失性和时变的数据集合,以支持管理决策”。