知识卡片
压缩交换空间与CPU
记录压缩减少磁盘占用和需要传输的字节,但写入压缩与读取解压会增加CPU工作。文件格式和压缩粒度又影响批处理是否容易并行读取。Pail以元数据保存这些选择,并在追加时保持目标格式;调整应依据负载的存储、I/O与计算瓶颈,而不是只以文件越小越好为目标。
与[[文件系统胜任批量]]的联系:压缩按文件存储负载在空间、I/O与CPU间取舍。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
在读取和写入记录时,Pail所使用的空间,明显更少,但所需要花费的CPU代价更高。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第5章《批处理层的数据存储:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/041.xhtml)
- 结论依据:正文与SequenceFile/gzip块压缩示例明确给出成本交换,未把128MB写成通用最优值。
- 原始内容:在读取和写入记录时,Pail所使用的空间,明显更少,但所需要花费的CPU代价更高。