知识卡片

普通读书笔记卡

v2记录保存相对量

理解等级:中级

v2 批次头保存 first offset 和时间基准,批次内每条 Record 保存 offset delta 与 timestamp delta,而非重复写完整位移和 8B 时间戳。读取时用基准加增量还原单条记录的值。相邻消息通常只差很小的数,增量再用 Varints 编码就可能少占字节;若增量很大,变长编码不保证总是更省。

例如批次起始位移为 100,第三条记录的 offset delta 为 2,其分区位移就是 102。这个数字例子是按字段定义所作的演示;原文的六条记录日志也显示首条增量 0、第二条增量 1。timestamp delta 的读取同理须结合批次的时间基准,不能把增量本身当作绝对时间。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.2.5 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 8668–12009;图 5-7 `188_1.jpg`、日志解读图 `190_2.jpg`–`191_1.jpg`) - 结论依据:原文说明 `timestamp delta` 与 `offset delta` 相对 RecordBatch 基准保存以节省空间;图示列出字段,日志解读给出首两条 offset delta 为 0、1。位移 100→102 为按原文定义补充的演示。 - 原始内容:timestamp delta:时间戳增量。通常一个timestamp需要占用8个字节,如果像这里一样保存与RecordBatch的起始时间戳的差值,则可以进一步节省占用的字节数。· offset delta:位移增量。保存与 RecordBatch起始位移的差值,可以节省占用的字节数。