知识卡片

普通读书笔记卡

内层位移借末条还原

理解等级:中级

本书的压缩消息格式里,生产者给内层消息分配从 0 开始的位移;这些位移不是分区中的绝对位移。broker 写入分区日志时给外层消息标上内层最后一条的绝对位移。消费者解压后,用“当前内层位移 − 末条内层位移”求出相对末条的差,再加到外层位移上,就能还原每条消息的分区位移。

图 5-6 的六条内层消息位移为 0–5,外层位移为 1030;第一条为 1030+(0−5)=1025,最后一条为 1030+(5−5)=1030。相对位移非正数,末条为 0。不能把内层的 0–5 直接当作真实消费进度;位移转换由服务端负责,客户端读取时须按上述关系解释。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.2.3 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 4785–6632;图 5-6 `182_2.jpg` 与公式图 `183_1.jpg`) - 结论依据:原文和图给出内层 0–5、外层 1030 的例子,并定义 RO 为当前内层位移相对末条的差,AO 为末条绝对位移加 RO;数值演算由该公式推得。 - 原始内容:外层消息保存了内层消息中最后一条消息的绝对位移……图右内层消息中最后一条的offset理应是1030,但被压缩之后就变成了5,而这个1030被赋予给了外层的offset……RO是前面的消息相对最后一条消息的IO而言的,所以其值小于等于0,0表示最后一条消息自身。