知识卡片
过期位移用墓碑清理
__consumer_offsets 使用日志压缩保存消费位移。对于某个“组、主题、分区”的 key,位移过期后会写入 value 为 null 的墓碑消息,表示该 key 的旧位移应被清理;这与提交一条 offset 为 0 的有效进度完全不同。Kafka 2.0.0 中有定时任务清理过期位移,实际清理可能晚于保留期限,因为任务按检查周期运行。排查时看到墓碑或找不到旧位移,要结合提交时间、过期时间和检查周期判断,而不能仅凭最后一次业务消费时间推断。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第7章《深入客户端》7.3 节(源文件:`_epub-src/OEBPS/Text/chapter8.xhtml`;位移记录图 `279_1.jpg`)
- 结论依据:原文说明过期位移的 value 置 null,即墓碑消息,内部主题采用压缩策略,另有按 `offsets.retention.check.interval.ms` 周期运行的过期组元数据清理任务。
- 原始内容:如果某个key(version+group+topic+partition的组合)对应的消费位移过期了,那么对应的value就会被设置为null,也就是墓碑消息(主题__consumer_offsets使用的是日志压缩策略)