知识卡片

结构图卡

压缩消息由外层包内层

理解等级:中级

在本书讲述的 v0/v1 格式中,Kafka 将多条消息作为一个消息集压缩,再把压缩后的内层消息集放进一条外层消息的 value。外层消息的 key 为 null;它负责承载压缩数据,内层消息才分别携带原来的记录。生产者发送的压缩数据通常在 broker 的日志里仍保持压缩,消费者取回后才解压,所以压缩可以同时减少网络传输和磁盘占用。broker 的 compression.type=producer 表示保留生产者的压缩方式;强制改为特定算法或 uncompressed 会改变这条路径。这里的字节压缩(compress)与按键保留最新值的日志清理(compact)是不同操作。

结构图:

flowchart LR
    P[生产者:多条消息] --> C[压缩为内层消息集]
    C --> W[外层消息的 value]
    W --> B[broker:通常压缩存储]
    B --> F[消费者:取回并解压]
    F --> R[逐条读取内层消息]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.2.3 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 4785–6632;图 5-5 `182_1.jpg`) - 结论依据:原文说明消息集整体压缩、外层 `value` 包含内层消息、外层空键、broker 默认保留生产者压缩方式及消费端解压;图 5-5 已回读。 - 原始内容:而当消息压缩时是将整个消息集进行压缩作为内层消息(inner message),内层消息整体作为外层(wrapper message)的 value……压缩后的外层消息(wrapper message)中的key为null……消费者在处理消息之前才会解压消息。