← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1777.b.4

弱持久方式保留确认链

理解等级:中级

MillWheel强方式先持久化状态及输出再确认上游,节点可独立重试下游;弱方式可暂不持久化输出,但要等待下游确认或在等待过久时补做持久化,才可释放上游重放责任。“可选持久化”不等于随时丢弃未确认数据,可靠性成本在存储与上下游依赖之间转移。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      从上面的叙述可知,在要求“至少送达一次”语义要求下,弱方式的所谓“状态持久化可选”,指的是如果计算节点B的下游节点C在一定时间内没有ACK确认,那么此时节点B可以做一次状态持久化,这样就摆脱了对下游节点C的ACK依赖,计算节点B在持久化后可以不用等待下游节点C的ACK消息而直接发送ACK消息给自己的上游节点A。即使此时计算节点B崩溃,在重启后可以从持久化信息里读出衍生数据,并再次发给下游节点C(图12-14展示了这一过程)。通过这种方式就在整体性能和送达保证之间做了一个较好的均衡。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落126(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:从上面的叙述可知,在要求“至少送达一次”语义要求下,弱方式的所谓“状态持久化可选”,指的是如果计算节点B的下游节点C在一定时间内没有ACK确认,那么此时节点B可以做一次状态持久化,这样就摆脱了对下游节点C的ACK依赖,计算节点B在持久化后可以不用等待下游节点C的ACK消息而直接发送ACK消息给自己的上游节点A。即使此时计算节点B崩溃,在重启后可以从持久化信息里读出衍生数据,并再次发给下游节点C(图12-14展示了这一过程)。通过这种方式就在整体性能和送达保证之间做了一个较好的均衡。