知识卡片
多线程消费的位移风险
KafkaConsumer 非线程安全,常见扩展方式是每线程一个消费者,或单消费者拉取后交给线程池处理。后者减少连接开销,却让同一分区内的处理完成顺序变复杂;如果高位移任务先完成并提交,低位移任务随后失败,就会丢消息。并发消费必须额外管理位移窗口。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》