知识卡片
弱持久方式保留确认链
MillWheel强方式先持久化状态及输出再确认上游,节点可独立重试下游;弱方式可暂不持久化输出,但要等待下游确认或在等待过久时补做持久化,才可释放上游重放责任。“可选持久化”不等于随时丢弃未确认数据,可靠性成本在存储与上下游依赖之间转移。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流式计算 · 查看原书依据
从上面的叙述可知,在要求“至少送达一次”语义要求下,弱方式的所谓“状态持久化可选”,指的是如果计算节点B的下游节点C在一定时间内没有ACK确认,那么此时节点B可以做一次状态持久化,这样就摆脱了对下游节点C的ACK依赖,计算节点B在持久化后可以不用等待下游节点C的ACK消息而直接发送ACK消息给自己的上游节点A。即使此时计算节点B崩溃,在重启后可以从持久化信息里读出衍生数据,并再次发给下游节点C(图12-14展示了这一过程)。通过这种方式就在整体性能和送达保证之间做了一个较好的均衡。
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落126(OEBPS/text00017.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:从上面的叙述可知,在要求“至少送达一次”语义要求下,弱方式的所谓“状态持久化可选”,指的是如果计算节点B的下游节点C在一定时间内没有ACK确认,那么此时节点B可以做一次状态持久化,这样就摆脱了对下游节点C的ACK依赖,计算节点B在持久化后可以不用等待下游节点C的ACK消息而直接发送ACK消息给自己的上游节点A。即使此时计算节点B崩溃,在重启后可以从持久化信息里读出衍生数据,并再次发给下游节点C(图12-14展示了这一过程)。通过这种方式就在整体性能和送达保证之间做了一个较好的均衡。