返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

普通读书笔记卡 · 1777.j

提交成功后ACK丢失会重放

理解等级:中级

MillWheel若已持久化状态但在发ACK前崩溃,上游会重发同一记录。没有与状态一同保存的输入ID,恢复后再次执行用户函数会重复更新。故“先处理后确认”仍不足以实现逻辑恰好一次;崩溃窗口必须由持久去重和原子状态提交共同覆盖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      可以看到,重复检测在其中起了很关键的作用。下面来看看,如果没有重复检测会发生什么:假设下游节点在接收到数据后处理完成步骤3),之后发生故障,没有来得及向上游节点发送ACK消息,然后下游节点的计算逻辑在本地或者其他机器重新启动,上游节点长时间未收到确认消息,会再次发送,这样该条数据会被再次处理并重复修改状态等信息,然后将错误的状态信息持久化到外部存储中。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落97(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:可以看到,重复检测在其中起了很关键的作用。下面来看看,如果没有重复检测会发生什么:假设下游节点在接收到数据后处理完成步骤3),之后发生故障,没有来得及向上游节点发送ACK消息,然后下游节点的计算逻辑在本地或者其他机器重新启动,上游节点长时间未收到确认消息,会再次发送,这样该条数据会被再次处理并重复修改状态等信息,然后将错误的状态信息持久化到外部存储中。