知识卡片
拦截器难保证延时精度
把“尚未到期的延时消息”留在普通消费者拦截器里,会同时碰到位移、阻塞和内存三个边界:提前提交位移可能让未处理消息丢失;停在该消息等待会阻塞后面的短延时消息;继续拉取却不提交,需要长期把待投递消息放在内存,异常恢复时还可能重读很多记录。把未到期消息重新写回原主题也不能保证准点:若主题已堆积,它再次被读到时可能早已超过目标时间。只把延时操作放在生产者或 broker 的易失内存缓存,则还要承担内存暴涨和节点宕机时消息丢失的风险。因此书中转向内部延时主题加独立服务,或文件时间轮方案。判断一套延时实现是否可用,应同时检查持久化等待、可见时间误差和失败后的位移处理,而不能只看是否能“稍后消费”。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第11章《高级应用》11.2 节及图 11-1(源文件:`_epub-src/OEBPS/Text/chapter12.xhtml`;图片:`_epub-src/OEBPS/Images/379_1.jpg`)
- 结论依据:原文逐一分析提交、停止拉取、继续拉取三种分支的丢失/滞后/内存与重复消费风险,并以“还等 5 秒,重读却已过半小时”说明写回主题的精度问题。
- 原始内容:如果这个时候不提交消费位移而继续拉取消息,等待这条延时时间很长的消息满足条件之后再提交消费位移,那么在此期间这条消息需要驻留在内存中,而且需要一个定时机制来定时检测是否满足被消费的条件