知识卡片

普通读书笔记卡

批量摊薄v2固定开销

理解等级:高级

v2 的共享批次头较大,单条消息看起来可能更费空间;判断格式效率应按批次计算。书中一条 3B 键、5B 值的 v2 消息,批次头 61B,Record 本体 14B,Record 的长度字段 1B,总计 61+14+1=76B。但连续发送 10 条空键、6B 值的消息,若各自承担批次开销本应约 740B,实际同批记录只有 191B;书中同条件估计 v0 为 320B、v1 为 400B。

节省来自多条记录共用一次批次头,以及各条长度和增量字段采用 Varints;不能由单条 76B 推断 v2 一定比 v0/v1 更占空间,也不能由这一组样例推出任何批量大小都更省。比较前须固定消息大小、键值、批次组成和压缩条件。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.2.5 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 8668–12009;图 5-7 `188_1.jpg`、日志输出 `191_2.jpg`–`192_2.jpg`) - 结论依据:原文逐项推导 61B 批次头、14B Record、1B 长度字段组成 76B,并报告 10 条记录的 191B 与 v0/v1 对照;相关日志截图已回读。 - 原始内容:Record Batch Header部分共61B。……Record部分的总长度……=14B,所以Record的length字段的值为 14,编码变为长整型数之后占 1B。最后推导出这条消息的占用字节数=61B+14B+1B=76B……本来应该占用740B大小的空间,实际上只占用了191B,在v0版本中这10条消息需要占用320B的空间大小,而v1版本则需要占用400B的空间大小。