← 返回卡片

原书出处

大数据日知录_架构与算法

03 大数据常用的算法与数据结构

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.112Z

数据压缩与解压缩本质上是通过增加CPU计算时间成本来换取较小的存储成本,以及网络和I/O传输成本。如果只是追求存储成本最小化,Snappy这种技术方案是不适用的,但是对于很多情形,在合理压缩率情况下追求最高的压缩和解压缩速度比单纯追求最小的存储成本更重要。以MapReduce计算为例,Reduce阶段只有在Map阶段完成后才能开始,Map阶段将中间结果压缩输出到磁盘,Reduce阶段需要将压缩数据解压缩后进行后续计算,所以此时压缩和解压缩速率对于加快MR任务的完成就非常重要。这也是为何Snappy能够获得广泛使用的主要原因。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00008.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d