知识卡片
v2记录保存相对量
v2 批次头保存 first offset 和时间基准,批次内每条 Record 保存 offset delta 与 timestamp delta,而非重复写完整位移和 8B 时间戳。读取时用基准加增量还原单条记录的值。相邻消息通常只差很小的数,增量再用 Varints 编码就可能少占字节;若增量很大,变长编码不保证总是更省。
例如批次起始位移为 100,第三条记录的 offset delta 为 2,其分区位移就是 102。这个数字例子是按字段定义所作的演示;原文的六条记录日志也显示首条增量 0、第二条增量 1。timestamp delta 的读取同理须结合批次的时间基准,不能把增量本身当作绝对时间。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.2.5 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 8668–12009;图 5-7 `188_1.jpg`、日志解读图 `190_2.jpg`–`191_1.jpg`)
- 结论依据:原文说明 `timestamp delta` 与 `offset delta` 相对 RecordBatch 基准保存以节省空间;图示列出字段,日志解读给出首两条 offset delta 为 0、1。位移 100→102 为按原文定义补充的演示。
- 原始内容:timestamp delta:时间戳增量。通常一个timestamp需要占用8个字节,如果像这里一样保存与RecordBatch的起始时间戳的差值,则可以进一步节省占用的字节数。· offset delta:位移增量。保存与 RecordBatch起始位移的差值,可以节省占用的字节数。