知识卡片
清理旧文件会缩短回溯
Delta Lake 的 VACUUM 可回收超过保留期且不再被当前版本引用的数据文件;回收后,早于保留窗口的时间旅行可能失效。设置保留期时要同时考虑存储成本、排障回溯及长时间运行的读取任务。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Practical Lakehouse Architecture》第3章《Storage: The Heart of the Lakehouse》(源文件:_epub-src/OEBPS/ch03.html)
- 结论依据:原文说明 vacuum 删除旧版本文件;Delta Lake 官方文档确认清理后超过保留期的历史版本无法时间旅行。
- 原始内容:The vacuum command helps to delete older versions of files and keep only the required versions, based on specific timestamps or version numbers. Optimize and Z-order The optimize feature helps reduce several “small” files by compacting them to create larger ones. Z-order reorganizes the data in storage to allow queries to read less data for