返回主题:湖仓平台与开放表格式

知识卡片

普通读书笔记卡 · 2275.as.6.d.2.a.1

表元数据可提前裁剪文件

理解等级:中级

Parquet 文件内统计可帮助读取器跳过无关行组;表格式再把文件级统计集中到元数据层,查询规划时可先排除大量文件。过滤收益依赖谓词、统计值和数据布局,不能把每次查询都说成无需碰任何文件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Practical Lakehouse Architecture》第5章《Compute Engines for Lakehouse Architectures》(源文件:_epub-src/OEBPS/ch05.html) - 结论依据:原文对比逐文件读取 Parquet 统计与表格式集中保存统计,说明后者可减少查询前的文件检查。 - 原始内容:The open table formats maintain these stats from the data files in a central place (the metadata layer) so that the query doesn’t need to scan individual data files. This helps in data skipping and improves the overall query response time. File compaction Frameworks like MapReduce and Spark use distributed processing for computing. The performance