知识卡片
Direct不自动实现精确一次
Direct 模式减少了接收端重复读取 Kafka 数据的机会,但这只约束读取环节。若 Spark 已把一个批次的结果写入外部系统,却在记录处理位移前失败,重试仍可能再次写出该批次。要获得端到端精确一次效果,必须把输出副作用与位移恢复一起设计,例如让外部写入幂等,或使用能覆盖这两个动作的事务。不能仅凭 createDirectStream 就宣称整个处理链精确一次。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.5 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文明确指出 Direct 不等于精确一次,还需幂等或事务;故障窗口是对此边界的可复查推演,不声称书中逐步演示了外部写入。
- 原始内容:注意使用Direct的方式并不意味着实现了精确一次的语义(Exactly Once Semantics),如果要达到精确一次的语义标准,则还需要配合幂等性操作或事务性操作。