知识卡片

普通读书笔记卡

消费转换生产须同事务提交位移

理解等级:高级

消费一条输入消息、转换并写入输出消息时,若先提交输出再单独提交输入位移,进程在两步之间宕机,重启后会重读输入并重复产出。书中 Kafka 2.0.0 的做法是把输出写入和输入位移放进同一事务:先初始化并开始事务,发送输出,再以 sendOffsetsToTransaction() 纳入输入位移,最后提交或中止。消费端须关闭自动提交,也不能在事务外手动提交位移。这个原子性限于参与该 Kafka 事务的写入与位移,不自动覆盖应用内数据库等外部副作用。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第7章《深入客户端》7.4.3 节(源文件:`_epub-src/OEBPS/Text/chapter8.xhtml`) - 结论依据:原文用 consume-transform-produce 模式说明消息与消费位移同事务,列出 `sendOffsetsToTransaction()` 和禁用自动/手动位移提交;宕机窗口与外部副作用边界为据此推导。 - 原始内容:Kafka 中的事务可以使应用程序将消费消息、生产消息、提交消费位移当作原子操作来处理,同时成功或失败,即使该生产或消费会跨多个分区。