知识卡片
消息保留使消费者可以重读
Kafka 将消息持久化并保留一段时间,让消费者在处理出错或新增下游时按读取进度重新消费;它因此兼具缓冲和历史重放能力。Flume 更偏向将数据从来源送往目标,Sink 成功发送后便从 Channel 移除 Event。选型时要分清一次性采集传输与需要多方订阅、重读的消息留存需求。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》4.1(源文件:_epub-src/OEBPS/text00027.html)
- 结论依据:原文说明 Kafka 可缓存历史数据供重复消费,Flume Sink 发送成功后移除 Event,二者定位因数据保留需求而不同。
- 原始内容:缓存生产者产生的数据,使得消费者可以重复消费历史数据(比如数据处理后发现结果存在问题,需要重新读取数据进行处理)……Kafka可将数据暂存一段时间……而Flume Sink发送数据成功后会立刻将之删除