返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

普通读书笔记卡 · 5420

控制状态恢复不等于业务状态

理解等级:高级

Storm用Nimbus分发和分配任务,Supervisor管理Worker,ZooKeeper协调并保存部分管理状态。管理进程重启能恢复调度信息,不表示应用计数器、连接和任意内存对象也都已持久化。业务状态恢复仍须依赖状态后端、检查点及可重放输入。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      ZooKeeper集群用来协调Nimbus和Supervisor之间的工作,同时,Storm将两者的状态信息存储在ZooKeeper集群上,这样Nimbus和Supervisor都成为无状态的服务,从而可以方便地进行故障恢复,无论哪个构件发生故障,都可以随时在另外一台机器上快速重新启动而不会丢失任何状态信息。这里需要注意:Nimbus和Supervisor通过使用ZooKeeper达到节点无状态,但是具体的DAG流式计算任务的计算节点可能是有状态的,一个是Storm的架构管理系统,另一个是运行其上的计算任务,要明确区分两者之间的区别和联系。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落24(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:ZooKeeper集群用来协调Nimbus和Supervisor之间的工作,同时,Storm将两者的状态信息存储在ZooKeeper集群上,这样Nimbus和Supervisor都成为无状态的服务,从而可以方便地进行故障恢复,无论哪个构件发生故障,都可以随时在另外一台机器上快速重新启动而不会丢失任何状态信息。这里需要注意:Nimbus和Supervisor通过使用ZooKeeper达到节点无状态,但是具体的DAG流式计算任务的计算节点可能是有状态的,一个是Storm的架构管理系统,另一个是运行其上的计算任务,要明确区分两者之间的区别和联系。