返回主题:湖仓平台与开放表格式

知识卡片

普通读书笔记卡 · 2275.as.6.g.5.a

清理旧文件会缩短回溯

理解等级:高级

Delta Lake 的 VACUUM 可回收超过保留期且不再被当前版本引用的数据文件;回收后,早于保留窗口的时间旅行可能失效。设置保留期时要同时考虑存储成本、排障回溯及长时间运行的读取任务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Practical Lakehouse Architecture》第3章《Storage: The Heart of the Lakehouse》(源文件:_epub-src/OEBPS/ch03.html) - 结论依据:原文说明 vacuum 删除旧版本文件;Delta Lake 官方文档确认清理后超过保留期的历史版本无法时间旅行。 - 原始内容:The vacuum command helps to delete older versions of files and keep only the required versions, based on specific timestamps or version numbers. Optimize and Z-order The optimize feature helps reduce several “small” files by compacting them to create larger ones. Z-order reorganizes the data in storage to allow queries to read less data for