知识卡片

普通读书笔记卡 · 2852.f.1.c

压缩可切分性决定Map并行度

理解等级:中级

选择批处理输入压缩方式时,除了压缩比和解压开销,还要看压缩后的文件能否从内部边界切成多个 split。若整文件只能顺序解压,一个大文件通常只由一个 Map Task 处理,并行度受限;带可定位块边界的文件格式可把不同块交给多个任务。判断并行性要同时看压缩算法与文件格式,不能只看算法名称。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》10.3.2 数据压缩(源文件:`_epub-src/OEBPS/text00081.html`) - 结论依据:原文将可分解性列为压缩算法的特殊指标,又指出文本文件与内部分块的 SequenceFile 在压缩后的 split 能力不同,因此需联合考察编码和容器格式。 - 原始内容:对于MapReduce这种分布式程序而言,另外一个特殊的压缩算法评测指标是可分解性(splitable)。一个压缩算法具备可分解性是指该压缩算法支持块级别的压缩,能够在文件内部以块形式压缩数据。