知识卡片
两遍扫描按键留最新位移
书中 Kafka 清理线程先扫描待压实消息,在 SkimpyOffsetMap 中记下每个 key 的哈希值及最后出现的位移;再扫描一遍,只保留位移不早于映射值的消息。比如同一 key 在位移 4 和 9 出现,映射值为 9,第二遍跳过 4、保留 9。消息 key 不能为空,否则无法按 key 判定“最新”。映射表存哈希而非完整 key,以节省内存,但不同 key 若发生哈希碰撞,书中指出可能误删消息;这是一种极低概率但非零的正确性边界。
结构图:
flowchart LR
A[第一遍扫描消息] --> B[记录每个 key 的哈希及最后位移]
B --> C[第二遍扫描消息]
C --> D{消息位移不早于映射位移}
D -- 是 --> E[保留消息]
D -- 否 --> F[丢弃旧版本]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第 5 章 5.4.2 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 19456–23731;图 5-18 `203_2.jpg`)
- 结论依据:原文明确描述两遍扫描、key 哈希到最后位移的映射、保留条件与哈希碰撞后果;图 5-18 已回读。位移 4/9 是按原文规则构造的教学示例。
- 原始内容:第一次遍历把每个key的哈希值和最后出现的offset都保存在SkimpyOffsetMap中……第二次遍历会检查每个消息是否符合保留条件……如果O1大于等于O2即满足保留条件。