返回主题:湖仓平台与开放表格式

知识卡片

普通读书笔记卡 · 2275.as.6.g.10.a

小文件合并降低调度开销

理解等级:中级

大量小文件会增加枚举、元数据读取和任务调度成本。定期合并成较大的文件可改善分析查询,但合并本身消耗计算与写入资源,还要避免把文件做得过大而损失并行度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Practical Lakehouse Architecture》第5章《Compute Engines for Lakehouse Architectures》(源文件:_epub-src/OEBPS/ch05.html) - 结论依据:原文说明 MapReduce/Spark 遇到大量 KB/MB 级小文件时性能受损,表格式提供压实功能以减少扫描文件数。 - 原始内容:File compaction Frameworks like MapReduce and Spark use distributed processing for computing. The performance of these frameworks gets impacted when data gets stored in smaller file sizes (few KBs/MBs). Open table formats provide features to compact smaller files into large ones, thus improving the overall query performance. The reduced file count means fewer data scans