← 返回刚才阅读的位置

知识卡片

问题卡 · 2274.e.1.a.5.j

处理完成后再提交消费进度

理解等级:未标注

Kafka 把消费进度记在集群里。消费分三步:接收、处理、更新进度。接收或处理失败时如果已经推进进度,这条消息不会再被投递,效果和丢失一样。所以要等接收和处理都完成后才更新进度。处理刚结束、进度还没写上时消费者宕机,重启后会再次处理同一条消息。进度提交换来的是不漏处理,代价是可能重复。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《高并发系统设计40问》第18讲《消息投递:如何保证消息仅仅被消费一次?》(源文件:_epub-src/text/part0021_split_001.html) - 结论依据:原文要求处理完成后再更新进度,并说明处理之后、提交之前宕机会导致重复消费。 - 原始内容:一定要等到消息接收和处理完成后才能更新消费进度,但是这也会造成消息重复的问题