知识卡片
生产端按序号丢掉重复
Kafka 0.11 和 Pulsar 的生产端幂等,是给每个生产者一个标识,再给每条消息一个序号。服务端记下该生产者最后一条消息的序号。新消息的序号如果和已保存的最后序号相同,就当作重复并丢弃,队列里只留一份。这解决的是生产端重试造成的重复写入,不代替消费端对外部账户的去重。Pulsar 在这里只被点名为同样支持该特性,没有展开实现。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
给每一个生产者一个唯一的ID,并且为生产的每一条消息赋予一个唯一ID,消息队列的服务端会存储<生产者ID,最后一条消息ID>的映射。
参考来源
- 位置:《高并发系统设计40问》第18讲《消息投递:如何保证消息仅仅被消费一次?》(源文件:_epub-src/text/part0021_split_002.html)
- 结论依据:原文说明服务端保存生产者标识和最后一条消息标识,序号一致则丢弃重复消息。
- 原始内容:给每一个生产者一个唯一的ID,并且为生产的每一条消息赋予一个唯一ID,消息队列的服务端会存储<生产者ID,最后一条消息ID>的映射。