知识卡片
事务写延后可见
内容
事务写先把输出放进事务,Checkpoint 成功后再提交,失败则回滚或丢弃未提交结果。发散:对外可见性延后,是换取 Exactly-Once 的常见代价。
参考来源
- 位置:《Flink原理与实践》第7章《Flink连接器》(源文件:_epub-src/OEBPS/Text/chapter10.xhtml)
- 结论依据:原文围绕“事务写”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。
- 原始内容:和Sink提供的功能。Source需要支持重发功能,Sink需要采用一定的数据写入技术,比如幂等写或事务写。 对于Source重发功能,如图7-1所示,只要我们记录了输入的偏移量Offset,作业重启后数据发送方根据该Offset重新开始发送数据即可。Kafka的Producer除了发送数据,还能将……