知识卡片
文件格式与表格式分工
湖仓存储层同时需要文件格式与表格式:Parquet、ORC、Avro 等文件格式承载数据;Iceberg、Hudi、Delta Lake 等表格式在其上组织事务与表元数据。只选开放文件格式,仍不会自动获得更新、删除和版本管理能力。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Practical Lakehouse Architecture》第1章《Introduction to Lakehouse Architecture》(源文件:_epub-src/OEBPS/ch01.html)
- 结论依据:原文将存储层拆为云存储、开放文件格式、开放表格式,并明确表格式为数据湖带来事务能力;前段说明事务层支持更新与删除。
- 原始内容:This layer is comprised of three components: cloud storage, open file format, and open table format. Cloud storage Cloud storage is a service that offers the high availability, durability, and scalability required for implementing data lake and lakehouse platforms.