知识卡片
压缩可切分性决定Map并行度
选择批处理输入压缩方式时,除了压缩比和解压开销,还要看压缩后的文件能否从内部边界切成多个 split。若整文件只能顺序解压,一个大文件通常只由一个 Map Task 处理,并行度受限;带可定位块边界的文件格式可把不同块交给多个任务。判断并行性要同时看压缩算法与文件格式,不能只看算法名称。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》10.3.2 数据压缩(源文件:`_epub-src/OEBPS/text00081.html`)
- 结论依据:原文将可分解性列为压缩算法的特殊指标,又指出文本文件与内部分块的 SequenceFile 在压缩后的 split 能力不同,因此需联合考察编码和容器格式。
- 原始内容:对于MapReduce这种分布式程序而言,另外一个特殊的压缩算法评测指标是可分解性(splitable)。一个压缩算法具备可分解性是指该压缩算法支持块级别的压缩,能够在文件内部以块形式压缩数据。