知识卡片
幂等写吸收重复
内容
幂等写允许同一结果重复写入而不改变最终外部状态,适合用主键覆盖、去重表等方式落地。发散:幂等是把“可能重试”从故障变成协议。
参考来源
- 位置:《Flink原理与实践》第7章《Flink连接器》(源文件:_epub-src/OEBPS/Text/chapter10.xhtml)
- 结论依据:原文围绕“幂等写”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。
- 原始内容:urce和Sink提供的功能。Source需要支持重发功能,Sink需要采用一定的数据写入技术,比如幂等写或事务写。 对于Source重发功能,如图7-1所示,只要我们记录了输入的偏移量Offset,作业重启后数据发送方根据该Offset重新开始发送数据即可。Kafka的Producer除了发送数据……