知识卡片
v0消息由头和记录组成
在书中 Kafka 0.10.0 之前的未压缩 v0 格式里,磁盘上一条消息由 12B 日志头和 RECORD 组成。日志头是 8B 的逻辑分区位移与 4B 的消息大小;它不属于 RECORD。RECORD 至少 14B:crc32 4B(校验 magic 至 value)、magic 1B(v0 为 0)、attributes 1B(低三位为压缩类型)、键长度 4B、值长度 4B。键和值本身按实际长度追加,长度为 -1 表示相应字段为 null。因而空键空值的完整消息至少 26B;若键为 3B 的 key、值为 5B 的 value,占用 12+14+3+5=34B。书中日志文件的实测增长也是 34B。这里的 offset 是消息在分区中的逻辑位置,不能当作文件字节位置。
一条或多条消息组成消息集;书中这一版本的消息集是磁盘存储、Produce/Fetch 网络传输及压缩的基本单元。讨论“消息大小”时,须先确认指单个 RECORD、含日志头的完整消息,还是整个消息集。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.2.1 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 2660–4218;图 5-3 `178_1.jpg`、日志大小图 `179_2.jpg`、`180_1.jpg`)
- 结论依据:原文逐项列出 `LOG_OVERHEAD` 和 v0 `RECORD` 字段,给出 14B 最小记录及 34B、31B 的实际文件增长示例;图 5-3 和结果截图已回读。
- 原始内容:每条消息都有一个offset 用来标志它在分区中的偏移量,这个offset是逻辑值,而非实际物理偏移值……日志头部(LOG_OVERHEAD),固定为12B。……v0版本中一个消息的最小长度(RECORD_OVERHEAD_V0)为……14B。……日志的大小……为 34B,其值正好等于LOG_OVERHEAD+RECORD_OVERHEAD_V0+3B的key+5B的value。