知识卡片

问题卡 · 1766.y

偏移量与入账可脱节

理解等级:高级

若先入账后提交消费偏移,崩溃重放会重复入账;若先提交偏移后入账,崩溃可能漏记。原图287_02启用自动提交,外库事务并不会自动包含Kafka偏移。端点间使用消息系统也不能据此假设整个金融业务恰好执行一次。参见[[入账与去重一起落库]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 事件溯源 · 查看原书依据

      这段消息接受代码是将传过来的JSON格式消息放入一个Map数据容器中,如果这个Map需要被使用,或者暂时不用、需要保存到接受者的关系数据库中,那么这段代码就要置于关系数据库的事务当中,这样保证了数据接受后的处理以及隐式的Kafka日志偏移量增加两个动作处于一个事务当中,要么全部完成,要么全部没有完成,否则消息中数据接受后处理完成了,这个消息还在日志中,偏移量指针没有移动,下一个消费者又处理了一次,就产生了重复消息,如果数据处理逻辑无法实现幂等性,那么就会产生问题。

    参考来源

    - 位置:《复杂软件设计之道:领域驱动设计全面解析与实战》第6章《事件溯源》(来源项目:book-sources;源文件:extracted/复杂软件设计之道:领域驱动设计全面解析与实战/_epub-src/OEBPS/Text/chapter9_0001.xhtml) - 结论依据:原文在具体段落“否则消息中数据接受后处理完成了”展开本卡的职责、机制或案例。原代码图片已实际阅读;图示只保留可确认的类型、签名及关系,不补造省略实现。书中绝对判断或代码缺陷已明确限定;补充方案与官方机制分开说明,未实机验证。 - 原始内容:这段消息接受代码是将传过来的JSON格式消息放入一个Map数据容器中,如果这个Map需要被使用,或者暂时不用、需要保存到接受者的关系数据库中,那么这段代码就要置于关系数据库的事务当中,这样保证了数据接受后的处理以及隐式的Kafka日志偏移量增加两个动作处于一个事务当中,要么全部完成,要么全部没有完成,否则消息中数据接受后处理完成了,这个消息还在日志中,偏移量指针没有移动,下一个消费者又处理了一次,就产生了重复消息,如果数据处理逻辑无法实现幂等性,那么就会产生问题。 - 代码/图依据:OEBPS/Images/287_01.jpg(SHA-256:a1d7bfb4678676a77f83a2dd002b10f7a3b872aa428f898416e2877d91bf4370) - 代码/图依据:OEBPS/Images/287_02.jpg(SHA-256:b87681e70b924229a9ea6ec151268e29724feab11539602d9c60552f2fa80c46) - 代码/图依据:OEBPS/Images/287_03.jpg(SHA-256:499c407049986259eed09111f8fea47568fbac2b8cf899ac0864411a215692b2) - 补充核验:[Kafka2.8设计](https://kafka.apache.org/28/design/design/)(2026-10-23实际读取相关机制,未运行)。