知识卡片
流式消费的offset检查点容错模式
内容
实时标签开发从Kafka这类消息队列消费数据时，需要自己管理”消费到哪了”这个位置信息：启动时先查有没有记录过上次消费的位置，有就从那里接着消费，没有就从当前最新位置开始；每处理完一批数据，把新的消费位置写回去。
参考来源
- 位置：《用户画像：方法论与工程化解决方案》第4章《标签数据开发》（源文件：_epub-src/OEBPS/text00063.html）
- 结论依据：原文围绕“消费者消费Kafka的Offset数据记录在Zookeeper中，在开启Stream”给出定义、场景或处理方式，支撑卡片对“流式消费的offset检查点容错模式”的概括。
- 原始内容：消费者消费Kafka的Offset数据记录在Zookeeper中，在开启Streaming程序消费Kafka数据时，先从Zookeeper中查找最近一次消费的Offset位置，如果有记录当前Topicid+Groupid消费者消费Offset的位置，则从记录起开始继续消费Offset。如果没有记录...