知识卡片
从数据仓库到云数据仓库
数据仓库是用于报告和分析的中央数据中心,数据高度格式化、结构化,是最古老和最完善的数据架构之一。Inmon 1989 年的定义——“一个面向主题的、集成的、非易失性的和时变的数据集合,以支持管理决策”——今天仍然重要。过去只有预算数百万美元的企业负担得起,云上即付即得模式让小公司也能使用。
两种架构视角:组织型(按业务团队结构和流程组织数据)与技术型(如 MPP),两者常相互认同但不必然绑定。
组织型数仓的两个特点:
- 把 OLAP 与生产库(OLTP)分离:把数据移到独立物理系统,减轻生产负载并提升分析性能;
- 集中和组织数据:传统用 ETL——抽取源数据,转换为清洗标准化、高度建模的形式并实施业务逻辑,加载到数仓,再分发到满足各业务线需求的数据集市;这与 DBA、ETL 开发团队执行业务领导指示的组织结构相伴。
技术演进:MPP 系统 20 世纪 80 年代流行,支持关系 SQL 语义并为并行扫描大量数据优化;近年从行存转向列存以支持更大数据和查询。
ELT:数据几乎直接从生产系统搬到数仓的暂存区(原始格式),转换直接在数仓中进行,利用云数仓的巨大算力;在流式安排中也流行(CDC 事件流入暂存区,再在数仓转换)。另一种 ELT 是大数据时代的读时转换。
云数据仓库:Amazon Redshift 开启革命——不必为 MPP 系统做多年容量规划、签数百万美元合同,可按需启动、逐步扩大,为特定负载临时开集群用完即删。BigQuery、Snowflake 推广计算与存储分离:数据放在几乎无限的对象存储中,按需提升算力。云数仓能处理单查询 PB 级数据、每行数十 MB 的文本或复杂 JSON,覆盖了很多过去需要 Hadoop 的场景;作者认为影响之大,或许该放弃“数据仓库”这个词,它们正演变成功能更广的数据平台。
数据集市是数仓的更精细子集,服务单个部门或业务线:让分析和报表开发更易访问数据,并在 ETL/ELT 之外提供额外的转换阶段(预先连接和聚合),显著提升复杂查询性能。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 设计好的数据架构 · 查看原书依据
1989年,Bill Inmon提出了数据仓库的概念,他将其描述为“一个面向主题的、集成的、非易失性和时变的数据集合,以支持管理决策”。