知识卡片

数据仓库、数据湖与数据集市

专业/工作 · 912.l

内容

三者是数据从”原始”到”可用”的三个存储层级:数据湖不考虑容量和成本,凡是看起来对分析有用的原始数据都先囤进来,属于未经整理的粗坯;数据仓库只存储已经过整理、结构化为星型结构的数据,专供[[BI工具与OLAP|BI工具]]聚合分析,相当于把数据湖里挑出来加工好的原料;数据集市则从数据仓库中进一步按特定部门或特定目的的需求切出一小块,限定范围以提高使用便利性。这个层级设计解决的核心矛盾是”什么都想留着”和”用起来要快”之间的冲突——数据湖负责”不丢东西”,数据仓库负责”整理成可用形态”,数据集市负责”精简到刚好够用”。

参考来源

《图解数据科学》第2章《数据的基础》