知识卡片
Kafka整批压缩
以本书分析版本的批消息主路径为范围,Kafka以批消息为压缩分段,生产者压缩,Broker保存和转发完整压缩批,消费者解压。服务端不拆批解压,既省CPU,又减少网络字节和磁盘占用。是否开启、算法和批大小仍需根据客户端CPU与业务数据选择。这是本书对批处理主路径的解释,不能推成所有版本、格式转换或校验路径都绝不解压。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 19-数据压缩:时间换空间的游戏 · 查看原书依据
最后,批消息由消费者进行解压。 在服务端不用解压,就不会耗费服务端宝贵的CPU资源,同时还能获得压缩后,占用传输带宽小,占用存储空间小的这些好处,这是一个非常聪明的设计。
参考来源
- 位置:《消息队列高手课》第19章《19-数据压缩:时间换空间的游戏》(来源项目:book-sources;源文件:extracted/消息队列高手课/_epub-src/text/part0023_split_004.html;spine 130)
- 结论依据:原文说明以本书分析版本的批消息主路径为范围,Kafka以批消息为压缩分段,生产者压缩,Broker保存和转发完整压缩批,消费者解压。本卡以本节实际案例及分析版本为边界。
- 原始内容:最后,批消息由消费者进行解压。 在服务端不用解压,就不会耗费服务端宝贵的CPU资源,同时还能获得压缩后,占用传输带宽小,占用存储空间小的这些好处,这是一个非常聪明的设计。