知识卡片

事务写延后可见

专业/工作 · 510.a.2

内容

事务写先把输出放进事务,Checkpoint 成功后再提交,失败则回滚或丢弃未提交结果。发散:对外可见性延后,是换取 Exactly-Once 的常见代价。

参考来源

- 位置:《Flink原理与实践》第7章《Flink连接器》(源文件:_epub-src/OEBPS/Text/chapter10.xhtml) - 结论依据:原文围绕“事务写”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。 - 原始内容:和Sink提供的功能。Source需要支持重发功能,Sink需要采用一定的数据写入技术,比如幂等写或事务写。 对于Source重发功能,如图7-1所示,只要我们记录了输入的偏移量Offset,作业重启后数据发送方根据该Offset重新开始发送数据即可。Kafka的Producer除了发送数据,还能将……