返回主题:存储常用数据结构

知识卡片

普通读书笔记卡 · 1770.d

压缩换传输

理解等级:中级

压缩的核心不是永远追求最高压缩率,而是在 CPU、磁盘、网络之间重新定价。Snappy 选择较快压缩解压速度,适合 MapReduce 中间结果这类受吞吐和流水线延迟约束的场景。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据常用的算法与数据结构 · 查看原书依据

      数据压缩与解压缩本质上是通过增加CPU计算时间成本来换取较小的存储成本,以及网络和I/O传输成本。如果只是追求存储成本最小化,Snappy这种技术方案是不适用的,但是对于很多情形,在合理压缩率情况下追求最高的压缩和解压缩速度比单纯追求最小的存储成本更重要。以MapReduce计算为例,Reduce阶段只有在Map阶段完成后才能开始,Map阶段将中间结果压缩输出到磁盘,Reduce阶段需要将压缩数据解压缩后进行后续计算,所以此时压缩和解压缩速率对于加快MR任务的完成就非常重要。这也是为何Snappy能够获得广泛使用的主要原因。

    参考来源

    - 位置:《大数据日知录:架构与算法》第3章《大数据常用的算法与数据结构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00008.html) - 结论依据:原文以“数据压缩与解压缩本质上”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。 - 原始内容:数据压缩与解压缩本质上是通过增加CPU计算时间成本来换取较小的存储成本,以及网络和I/O传输成本。如果只是追求存储成本最小化,Snappy这种技术方案是不适用的,但是对于很多情形,在合理压缩率情况下追求最高的压缩和解压缩速度比单纯追求最小的存储成本更重要。以MapReduce计算为例,Reduce阶段只有在Map阶段完成后才能开始,Map阶段将中间结果压缩输出到磁盘,Reduce阶段需要将压缩数据解压缩后进行后续计算,所以此时压缩和解压缩速率对于加快MR任务的完成就非常重要。这也是为何Snappy能够获得广泛使用的主要原因。