知识卡片

普通读书笔记卡 · 4278.d

幂等化解重复投递

理解等级:高级

当上游只承诺at-least-once时,故障恢复与重试可能让同一事件被投递多次;“至少一次”要求系统允许这种重复,而不是说每次正常运行都必然产生重复。书中的大众点评案例没有启用Storm事务,而是让业务处理具备幂等性:同一事件重复执行,最终业务结果仍与执行一次相同。这样可以把重复的影响消解在业务操作中,但仍需用稳定事件标识、去重状态或具有幂等语义的写入来实现,不能只口头声明“业务幂等”。

事务与幂等也不是互相排斥的二选一。现代Kafka能在特定范围内提供事务和exactly-once处理语义;链路跨出这个范围,外部数据库、HTTP调用或通知仍可能产生重复副作用。设计时应先写清保证范围,再决定在事务、幂等、去重和补偿之间如何组合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构(第1卷)》第6章《大数据与数据库》"6.2 实时计算在点评"节,"6.2.8 疑问与解惑"(源文件:_epub-src/OEBPS/Text/Chapter6_2_9.xhtml) - 结论依据:原文说明"在没有启用事务的情况下,需要考虑业务的幂等的问题。如果业务可以幂等,那么重复数据不会有任何问题。因为像Kafka等系统,只要保证at least once,数据源就会出现重复数据。然后启用事务会对性能产生比较大的影响,这个就要自己权衡了",直接支撑本卡片结论。 - 原始内容:在没有启用事务的情况下,需要考虑业务的幂等的问题。如果业务可以幂等,那么重复数据不会有任何问题。因为像Kafka等系统,只要保证at least once,数据源就会出现重复数据。然后启用事务会对性能产生比较大的影响,这个就要自己权衡了。 - 时效性说明:Apache Kafka官方文档把Kafka Streams的exactly-once限定在Kafka输入、状态存储与Kafka输出的原子处理范围;外部系统能力还取决于具体连接器。https://kafka.apache.org/35/documentation/streams/core-concepts/