知识卡片

普通读书笔记卡 · 2802.c.2

消息保留使消费者可以重读

理解等级:中级

Kafka 将消息持久化并保留一段时间,让消费者在处理出错或新增下游时按读取进度重新消费;它因此兼具缓冲和历史重放能力。Flume 更偏向将数据从来源送往目标,Sink 成功发送后便从 Channel 移除 Event。选型时要分清一次性采集传输与需要多方订阅、重读的消息留存需求。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》4.1(源文件:_epub-src/OEBPS/text00027.html) - 结论依据:原文说明 Kafka 可缓存历史数据供重复消费,Flume Sink 发送成功后移除 Event,二者定位因数据保留需求而不同。 - 原始内容:缓存生产者产生的数据,使得消费者可以重复消费历史数据(比如数据处理后发现结果存在问题,需要重新读取数据进行处理)……Kafka可将数据暂存一段时间……而Flume Sink发送数据成功后会立刻将之删除