知识卡片
消费转换生产须同事务提交位移
消费一条输入消息、转换并写入输出消息时,若先提交输出再单独提交输入位移,进程在两步之间宕机,重启后会重读输入并重复产出。书中 Kafka 2.0.0 的做法是把输出写入和输入位移放进同一事务:先初始化并开始事务,发送输出,再以 sendOffsetsToTransaction() 纳入输入位移,最后提交或中止。消费端须关闭自动提交,也不能在事务外手动提交位移。这个原子性限于参与该 Kafka 事务的写入与位移,不自动覆盖应用内数据库等外部副作用。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第7章《深入客户端》7.4.3 节(源文件:`_epub-src/OEBPS/Text/chapter8.xhtml`)
- 结论依据:原文用 consume-transform-produce 模式说明消息与消费位移同事务,列出 `sendOffsetsToTransaction()` 和禁用自动/手动位移提交;宕机窗口与外部副作用边界为据此推导。
- 原始内容:Kafka 中的事务可以使应用程序将消费消息、生产消息、提交消费位移当作原子操作来处理,同时成功或失败,即使该生产或消费会跨多个分区。