知识卡片

普通读书笔记卡 · 2275.as.6.d.2.b

压缩文件需支持切分

理解等级:中级

分布式处理大文件需要多个任务分别读取文件块。文件虽压缩,若压缩方式不能按块定位,任务可能先顺序解压,降低并行效率。选择文件格式时应同时测试压缩率与可切分读取能力。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Practical Lakehouse Architecture》第3章《Storage: The Heart of the Lakehouse》(源文件:_epub-src/OEBPS/ch03.html) - 结论依据:原文解释大文件分块并行读取,指出 GZIP 压缩的 CSV 通常不能直接切分,而一些大数据格式可支持压缩后切分。 - 原始内容:In distributed processing, data is distributed across various clusters to support parallel processing. When a file is stored on these distributed storages, it needs to be stored into various data blocks, or chunks, so that multiple processes can read these blocks. The file format used to store data should support splitting the file into multiple