知识卡片
消息队列的解耦价值与Kafka的push-pull架构选择
当一条数据管道只有一个生产者和一个消费者时,让两者直接通信是简单的;但业务规模变大后,直接通信模式会暴露三个问题:生产者与消费者高度耦合(新增一种消费者,所有生产者都要跟着改)、两端处理速率不对等(生产者太快会压垮消费者)、大量并发连接对消费者不友好(网络压力+可能产生大量小文件冲击下游存储)。消息队列的解法是插入一层”中间件”,让生产者和消费者各自只对中间件负责,互不感知对方的存在与变化,这就是Kafka在数据流中扮演的角色。在实现这层中间件时,Kafka特意选择了push-pull架构而非其他消息队列常见的push-push架构——Producer仍然主动push数据给Broker,但Consumer是主动从Broker端pull数据,而非Broker主动push给Consumer。这个选择带来两个具体好处:一是Consumer可以按自己的实际负载节奏去拉取数据,不会被Broker的推送速度牵着走;二是offset(已读取到哪条消息)的维护责任转移到了Consumer自己身上,Broker因此变得更轻量,不用为每个Consumer维护消费进度状态。可迁移启发:设计任何跨系统数据管道时,”谁主导传输节奏”本身是一个可以显式选择的架构决策——push模式让上游掌握节奏、适合上游需要强控制的场景,pull模式把节奏交给下游、能让下游按自己的处理能力自适应,两者不是任意选一个都行,而要看整个系统里谁的处理能力更容易成为瓶颈。
结构图:
flowchart LR
P["Producer<br/>(数据生产者)"] -->|"push"| B["Broker<br/>(消息中间件/缓冲区)"]
B -->|"pull(由Consumer主导节奏)"| C["Consumer<br/>(数据消费者,自行维护offset)"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》之"4.1 概述"与"4.2 Kafka设计架构"(源文件:_epub-src/OEBPS/text00027.html、text00028.html)
- 结论依据:原文说明"数据生产者和消费者耦合度过高……生产者和消费者间数据处理速率不对等……大量并发的网络连接对后端消费者不够友好……为了解决以上这些问题……需引入一层'中间件',这正是Kafka担任的角色……Kafka采用了不同于其他消息队列的push-push架构,而是采用了push-pull架构……Consumer可根据自己的实际负载和需求获取数据……Consumer自己维护已读取消息的offset而不是由Broker端维护,这大大缓解了Broker的压力,使得它更加轻量级",直接支撑本卡结构图与结论。
- 原始内容:这种基于pull的机制大大降低了Broker的压力,使得Kafka Broker的吞吐率很高。