返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

普通读书笔记卡 · 3105.d

内部精确一次不等于端到端

理解等级:高级

书中 Flink 的 checkpoint 与快照机制可以一致地恢复框架内部状态,前提是状态纳入该机制。若业务状态独立写在外部 Redis,或连接器不能协调输入与输出,内部精确一次语义不能推出端到端精确一次。可靠性验收须逐段核对 Source、内部状态和 Sink 的失败重试行为,并限定到所用版本与连接器。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第6章6.4.5《消息传达可靠性》(源文件:_epub-src/OEBPS/Text/chapter115.xhtml) - 结论依据:正文区分框架内部状态的一致恢复与连接器配合下的端到端保证,并以外部 Redis 为反例。 - 原始内容:要想在Flink中实现从数据流输入到输出之间端到端的exactly-once数据传送,还必须得到Flink connectors配合才行。