知识卡片
消息传递语义三分类及其实现手段
消息传递要区分交付次数与处理效果。at most once 允许消息丢失;at least once 通过确认和重试降低丢失风险,但可能重复交付;exactly once 要求在指定边界内避免重复处理效果。书中提出两段锁协议及“至少一次+幂等”两条思路;幂等只能让特定重复操作不再增加副作用,不能改变消息实际交付次数,也不能单独保证外部输出恰好一次。端到端保证还须把消费位点与输出结果协调提交,或由下游提供可验证的去重机制。选型时应明确承诺覆盖的是 Producer→Broker、Broker→Consumer,还是消费后的外部结果。
结构图:
flowchart TB
A["消息传递语义三分类"]
A --> B["at most once<br/>发完即忘,可能丢失"]
A --> C["at least once<br/>未确认则重发,可能重复"]
A --> D["exactly once<br/>恰好处理一次"]
D --> E["书中方案:两段锁协议<br/>(高协调成本)"]
C --> F["幂等缓解重复副作用<br/>不改变交付次数"]
D --> G["端到端输出:协调位点与结果<br/>或下游可验证去重"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》之"4.2 Kafka设计架构"(源文件:_epub-src/OEBPS/text00028.html)
- 结论依据:原文说明"在消息系统中,根据接收者可能收到重复消息的次数,将消息传递语义分为三种:at most once……at least once……exactly once:消费者会且只会处理一次同一条消息。为实现该语义,通常有两种常用技术手段:两段锁协议……在支持幂等操作(多次处理一条消息跟只处理一次是等效的)的前提下,使用at least once语义",提供本卡三分类与旧版实现思路的书内背景;端到端条件按下列 Kafka 官方资料核验。
- 原始内容:对于Kafka而言,Producer与Broker,以及Broker与Consumer之间,均存在消息传递语义问题……在0.9.0版本,将增加对"exactly once"的支持,采用的技术思路是:在支持幂等操作的前提下,使用"at least once"语义。
- 外部核验:Apache Kafka [设计文档](https://kafka.apache.org/40/design/design/)区分 Kafka 主题内的事务处理与写入外部系统的端到端边界;外部输出需与消费位点协调,幂等操作本身不等于只交付一次。