知识卡片
压缩位置选择
压缩在 Hadoop 中不是单纯节省磁盘,而是在 CPU、网络和 I/O 间重新分配成本。数据量巨大且网络/磁盘常是瓶颈时,适度消耗 CPU 做压缩反而提高整体吞吐。发散:性能优化要看系统瓶颈,不看单点开销。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第3章《序列化与压缩》(源文件:_epub-src/EPUB/text00032.html)
- 结论依据:原文说明压缩能减少存储空间并加快网络和磁盘传输,所有压缩算法都在时间与空间之间权衡。
- 原始内容:压缩广泛应用于海量数据处理中,对数据文件进行压缩,可以有效减少存储文件所需的空间,并加快数据在网络上或者到磁盘上的传输速度。……所有的压缩算法都会考虑时间和空间的权衡,更快的压缩和解压缩速度通常会耗费更多的空间(压缩比较低)。