返回主题:顺序保证与延时消息

知识卡片

普通读书笔记卡

时间戳放在消息头部

理解等级:中级

日志记录的字段位置会影响功能和读取成本。早期 Kafka 消息格式没有 timestamp,日志保存与切分、消息审计和端到端延迟分析因此受限。业务也能把时间写进 value,但读取时须解析长度可变的消息体;把时间戳放在消息体之前的固定结构中,可以按字段偏移直接取得。新增字段会占空间,因此格式设计要同时衡量功能收益、存储和网络开销。这里说的是书中 Kafka 0.8.x 至 2.0.0 的格式演进,具体版本变化见后续 v1、v2。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.2 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 2097–2660) - 结论依据:原文比较冗余字段、缺失时间戳和时间戳放在变长消息体内外的代价,并说明 v0、v1、v2 的演进范围。 - 原始内容:如果缺少字段,比如在最初的Kafka消息版本中没有timestamp字段,对内部而言,其影响了日志保存、切分策略……虽然可以在消息体内部添加一个时间戳,但解析变长的消息体会带来额外的开销,而存储在消息体……前面可以通过指针偏移量获取其值而容易解析。