此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
并发消费进度取最小偏移量
并发消费时偏移量靠后的消息可能先处理完。若提交已完成的最大偏移量,消费端一重启,靠前还没处理的消息就被跳过而丢失。所以提交的是线程池中最小的偏移量:避免了丢失,代价是已处理的靠后消息可能被重复消费。安全进度由最慢的未完成任务决定,重复的后果见[[进度前移仍会重复]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《RocketMQ技术内幕:RocketMQ架构设计与实现原理(第2版)》第5章《RocketMQ消息消费》(源文件:_epub-src/OEBPS/Text/000038.xhtml)
- 结论依据:原文以msg1~msg3为例说明提交最大偏移量会丢消息,因此提交线程池中最小偏移量,并承认有重复消费风险。
- 原始内容:如果提交msg3的偏移量是作为消费进度被提交,如果此时消费端重启,消息消费msg1、msg2就不会再被消费,这样就会造成“消息丢失”。……而是提交线程池中偏移量最小的消息的偏移量,即t3线程在消费完msg3后,提交的消息消费进度依然是msg1的偏移量,这样能避免消息丢失,但同样有消息重复消费的风险。