知识卡片
Delta日志定义表状态
Delta Lake 用 _delta_log 记录文件加入和移除及表模式等事务信息,数据本身存于 Parquet。读者按已提交的日志版本得到一致文件集合,不能把单个 Parquet 文件等同于完整 Delta 表。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Practical Lakehouse Architecture》第3章《Storage: The Heart of the Lakehouse》(源文件:_epub-src/OEBPS/ch03.html)
- 结论依据:原文描述 Delta 的日志目录、JSON 事务记录及 Parquet 数据层。
- 原始内容:The metadata layer consists of a _delta_log folder that holds the JSON files that Delta Lake creates for every transaction. These JSON files within that folder contain metadata and transaction details. The metadata has details related to the table schema, including attribute name, type, and whether it is nullable. It also holds information about partitions.