知识卡片
Kafka保留消息拉取消费
Kafka 与传统消息队列不同:已消费的消息不删除,按时间或分区文件大小清理旧数据。生产者推送消息到 broker,消费者主动拉取;ZooKeeper 负责集群配置、选举 leader 和消费组变化时的再均衡。同一消费组内一条消息只被一个消费者消费,不同消费组可以同时消费同一条消息,因此可同时接实时流处理和离线批处理。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式实时计算框架原理及实践案例》第4章《消息队列MQ》(源文件:_epub-src/OEBPS/Text/chapter6_0002.xhtml、_epub-src/OEBPS/Text/chapter6_0004.xhtml)
- 结论依据:原文说明Kafka集群保留所有消息无论是否被消费,按时间或partition文件大小删除旧数据;producer用push发布到broker,consumer用pull订阅消费;ZooKeeper管理集群配置、选举leader、consumer group变化时rebalance;同一consumer group内只有一个consumer消费一条消息,不同group可同时消费,因此可同时支持实时和离线处理。
- 原始内容:而Kafka集群会保留所有的消息,无论其是否被消费。……producer使用push模式将消息发布到broker,consumer使用pull模式从broker订阅并消费消息。……只需要保证这三个操作所使用的consumer在不同的consumer group即可。