湖仓在数据湖上加事务层
湖仓以数据湖为底座,在其上增加事务层和高性能计算层。事务层管理交易相关元数据,使平台具备类似数仓的 ACID 能力;计算层承载分析。它追求在开放、可扩展存储上提供分析能力,不能只把数据湖与数仓并排部署就称作湖仓。
结构图:
flowchart BT
A[数据湖存储] --> B[事务层]
B --> C[高性能计算层]
B --> D[类数仓 ACID 能力]
C --> E[分析工作负载]
主题对照
比较湖仓单存储层、开放文件与表格式、快照事务与数据布局、多引擎兼容以及跨格式互操作的机制和取舍。
湖仓以数据湖为底座,在其上增加事务层和高性能计算层。事务层管理交易相关元数据,使平台具备类似数仓的 ACID 能力;计算层承载分析。它追求在开放、可扩展存储上提供分析能力,不能只把数据湖与数仓并排部署就称作湖仓。
结构图:
flowchart BT
A[数据湖存储] --> B[事务层]
B --> C[高性能计算层]
B --> D[类数仓 ACID 能力]
C --> E[分析工作负载]
湖仓存储层同时需要文件格式与表格式:Parquet、ORC、Avro 等文件格式承载数据;Iceberg、Hudi、Delta Lake 等表格式在其上组织事务与表元数据。只选开放文件格式,仍不会自动获得更新、删除和版本管理能力。
湖仓把存储和计算引擎分开,使容量与计算能力可以按各自负载扩展。数据量增长但查询量不变时,不必同步增加计算资源;反过来也一样。这个弹性收益依赖两层之间真实可解耦。
开放表格式降低对专有存储和查询引擎的依赖,但“开放”不等于任意引擎都能读写任意表。选型时要核对目标引擎与表格式的具体兼容能力;否则换引擎的自由可能只停留在架构图上。
湖仓让 BI 与机器学习从同一存储层取数,可减少数据湖到独立数仓的复制与同步。这样少了一套模式映射和权限同步负担;但查询性能与权限控制仍需在同一层实际实现,不能只靠合并存储获得。
模式强制按既定表结构拒绝不匹配的数据,守住质量边界;模式演进允许受控接纳新增字段或其他源端变化,避免每次变化都丢弃数据。两者应配合使用:只强制会僵硬,只放开会削弱约束。
湖仓表格式可保留数据版本,使查询按旧版本号或时间戳读取更新前的记录。这有助于追查变更和复现历史分析;具体查询语法依表格式与计算引擎而异,不能把书中示意 SQL 当作通用命令。
开放数据格式与共享权限使消费方可以用兼容引擎直接访问数据,无须与生产方使用同一产品,也可减少文件摘取和重复装载。共享仍要管理访问授权;“开放”不意味着任何人都能读取。
Apache Iceberg 是可配合对象存储与 Parquet、Avro、ORC 等开放文件格式使用的表格式,提供时间旅行、模式演进和 SQL 访问能力。它管理的是表层行为,不代替底层文件格式或存储服务。
Apache Hudi 用表格式为数据湖增加事务能力,并支持增量处理、时间旅行及模式约束与演进。需要持续接收更新的数据平台,可把增量处理作为评估它的关键能力;实际选型仍须核对工作负载。
Delta Lake 是为湖仓提供元数据与 ACID 能力的开放存储框架,还支持时间旅行、模式约束和演进及审计日志。它位于数据湖之上的表层;使用某个托管计算服务时,仍要核对其支持的具体版本。
湖仓将数据留在开放存储层,计算端可按负载选择兼容的开源或商业引擎,无须绑定单一专有引擎。选择自由来自存储与计算的接口兼容,实际接入前仍要检查表格式支持。
对象存储便于扩容和降成本,却不会自动带来数仓式 BI 查询性能。湖仓需要在文件/表格式和计算引擎两侧配合优化;评价方案时应测真实查询,而不能从“数据已在湖里”推断性能足够。
湖仓可在同一存储层保存结构化、半结构化及图像、音频、视频等非结构化数据,让 BI 和机器学习从共同的数据底座取材。统一存放只是能力边界,后续仍要按数据形态选择格式、治理方式与计算工具。
数据湖加数仓的双层平台能分别服务机器学习与 BI,但分析数据要从湖复制到仓;机器学习若需仓内聚合结果又可能反向复制。容量、时效和一致性成本随复制链路增加,设计时应列清每份数据的责任与同步延迟。
湖和仓采用不同元数据类型与授权粒度时,同一数据跨层复制后可能呈现不同字段含义或访问权限。迁移计划要同时映射类型、权限和审计责任,不能只验证数据行数。
分析查询可通过分区或文件裁剪、列统计、索引与聚簇先排除无关数据,再让计算引擎处理剩余块。降低扫描量通常比盲目加算力更直接;收益依赖过滤谓词、统计信息和文件布局。
分布式处理大文件需要多个任务分别读取文件块。文件虽压缩,若压缩方式不能按块定位,任务可能先顺序解压,降低并行效率。选择文件格式时应同时测试压缩率与可切分读取能力。
Parquet 文件按行组组织数据,行组内各列再分成页;页存实际编码数据,页脚和相关元数据可帮助读取器定位列并按统计范围跳过不相关部分。它适合只读少数列的分析负载。
ORC 把列数据组织成条带,并记录统计及索引信息。查询过滤条件可先排除不可能命中的条带或行组,再读取所需列;实际效果取决于数据分布、索引统计和执行引擎。
Avro 对象容器文件把写入模式放在文件头,数据放在块中,并用同步标记划定块边界。因此读取器可按写入模式解释记录,分布式任务也能从块边界开始处理;它适合记录流和模式演进场景。
分析时只取少数列,优先测试 Parquet 或 ORC;频繁接收整条记录并需兼容模式变化,可测试 Avro。压缩比、扫描量与写入代价受数据和引擎影响,应以自身负载验证,不能照搬书中的单次基准比例。
传统 Hive 表把模式和分区信息放在 Metastore,数据文件留在 HDFS 或对象存储,并常按分区目录组织。元数据层让计算引擎理解底层文件,但目录枚举和事务能力取决于具体表管理实现。
Iceberg 的目录定位当前表元数据;表元数据记录快照,快照通过清单列表关联清单文件,清单再描述数据文件。查询按某个快照确定可见文件集合,因此无需仅靠遍历表目录判断表状态。
结构图:
flowchart LR
A[目录] --> B[表元数据]
B --> C[快照]
C --> D[清单列表]
D --> E[清单文件]
E --> F[数据文件]
Iceberg 的分区变换写在表元数据中,查询可按原始业务列过滤,由规划器推导对应分区条件。分区方案演进时,旧数据可按旧方案继续解释,避免每次调整都立即重写全部文件。
Hudi 的 Copy on Write 更新时改写基础列式文件,读路径较简单但写入较重;Merge on Read 先记录增量,读取时合并,适合频繁更新但会增加读时合并与压实压力。选择需按更新频率和查询时延测试。
Hudi 记录表提交时间线,增量查询可从指定提交点之后读取变化,避免每次重新扫描全表。它适合持续 ETL,但下游仍需管理检查点、重放和历史保留期限。
Delta Lake 用 _delta_log 记录文件加入和移除及表模式等事务信息,数据本身存于 Parquet。读者按已提交的日志版本得到一致文件集合,不能把单个 Parquet 文件等同于完整 Delta 表。
Delta Lake 的 VACUUM 可回收超过保留期且不再被当前版本引用的数据文件;回收后,早于保留窗口的时间旅行可能失效。设置保留期时要同时考虑存储成本、排障回溯及长时间运行的读取任务。
表格式选型要把已有文件格式、读写引擎、云服务版本、迁移规模及共享方式连成一条兼容链。某个格式声明支持一项能力,不代表目标云服务已提供相同读写能力;先用代表性数据做小范围验证。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:经典原理
149 张卡片
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 6/7
143 张卡片
来源书籍
数据工程与数据架构方法类
书籍类型:工程实践
类别清单尚未核对
145 张卡片
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类