知识卡片
按消息时间过滤须核位移
书中的消费者拦截器示例以消息 timestamp 与当前时间之差判断有效期,超过 10 秒的记录不再返回给业务。示例连续发送“过期、正常、过期”三条,业务只看到中间一条。这类过滤发生在 poll() 返回前:若后续代码仅根据可见记录计算带参数提交位移,批次最大 offset 的记录可能已被过滤,计算结果会偏离实际拉取进度。实现过滤后须明确原始记录、可见记录和提交位置的关系,参见 [[消费者拦截器会影响位移]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.9「消费者拦截器」(`_epub-src/OEBPS/Text/chapter4.xhtml`;代码清单 3-10 与发送示例图 `95_1.jpg`–`97_1.jpg`)
- 结论依据:正文和示例用时间戳过滤首尾两条过期消息,并提醒带参数位移提交可能因最大 offset 被过滤而出错。
- 原始内容:如果消息的时间戳与当前的时间戳相差超过10秒则判定为过期,那么这条消息也就被过滤而不投递给具体的消费者……其中第一条和第三条消息都被修改成超时了……在一次消息拉取的批次中,可能含有最大偏移量的消息会被消费者拦截器过滤