← 返回刚才阅读的位置

知识卡片

问题卡 · 2274.e.1.a.4.s.3.e

生产端按序号丢掉重复

理解等级:未标注

Kafka 0.11 和 Pulsar 的生产端幂等,是给每个生产者一个标识,再给每条消息一个序号。服务端记下该生产者最后一条消息的序号。新消息的序号如果和已保存的最后序号相同,就当作重复并丢弃,队列里只留一份。这解决的是生产端重试造成的重复写入,不代替消费端对外部账户的去重。Pulsar 在这里只被点名为同样支持该特性,没有展开实现。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《高并发系统设计40问》第18讲《消息投递:如何保证消息仅仅被消费一次?》(源文件:_epub-src/text/part0021_split_002.html) - 结论依据:原文说明服务端保存生产者标识和最后一条消息标识,序号一致则丢弃重复消息。 - 原始内容:给每一个生产者一个唯一的ID,并且为生产的每一条消息赋予一个唯一ID,消息队列的服务端会存储<生产者ID,最后一条消息ID>的映射。