知识卡片

幂等写吸收重复

专业/工作 · 510.a.1

内容

幂等写允许同一结果重复写入而不改变最终外部状态,适合用主键覆盖、去重表等方式落地。发散:幂等是把“可能重试”从故障变成协议。

参考来源

- 位置:《Flink原理与实践》第7章《Flink连接器》(源文件:_epub-src/OEBPS/Text/chapter10.xhtml) - 结论依据:原文围绕“幂等写”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。 - 原始内容:urce和Sink提供的功能。Source需要支持重发功能,Sink需要采用一定的数据写入技术,比如幂等写或事务写。 对于Source重发功能,如图7-1所示,只要我们记录了输入的偏移量Offset,作业重启后数据发送方根据该Offset重新开始发送数据即可。Kafka的Producer除了发送数据……