知识卡片
小文件合并降低调度开销
大量小文件会增加枚举、元数据读取和任务调度成本。定期合并成较大的文件可改善分析查询,但合并本身消耗计算与写入资源,还要避免把文件做得过大而损失并行度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Practical Lakehouse Architecture》第5章《Compute Engines for Lakehouse Architectures》(源文件:_epub-src/OEBPS/ch05.html)
- 结论依据:原文说明 MapReduce/Spark 遇到大量 KB/MB 级小文件时性能受损,表格式提供压实功能以减少扫描文件数。
- 原始内容:File compaction Frameworks like MapReduce and Spark use distributed processing for computing. The performance of these frameworks gets impacted when data gets stored in smaller file sizes (few KBs/MBs). Open table formats provide features to compact smaller files into large ones, thus improving the overall query performance. The reduced file count means fewer data scans