知识卡片

普通读书笔记卡 · 3102.a.1

Storm借ZooKeeper实现Nimbus无状态解耦

理解等级:未标注

Storm集群由Nimbus(master,负责代码分发、任务调度、故障监控)、Supervisor(slave,负责按Nimbus指令启动/停止Worker进程)和ZooKeeper三类组件构成,这是[[HBase借ZooKeeper实现Master无状态解耦]]同一设计模式在流式计算领域的又一次复现:Nimbus和Supervisor彼此并不直接通信,而是全部通过ZooKeeper中转——Nimbus把任务分配结果写入ZooKeeper对应目录,Supervisor周期性去ZooKeeper读取分配给自己的任务;Worker和Supervisor各自把运行状态写到ZooKeeper上,Nimbus则通过监听ZooKeeper发现故障组件、把它们转移到其他节点重新运行。因为所有需要持久的状态信息都托管在ZooKeeper里,Nimbus本身完全不用保存任何关键状态,书中特别指出这一点带来的实际效果——可以直接对Nimbus进程执行”kill -9”这种最粗暴的强制终止,书中称已运行的Topology可继续处理数据(因为Supervisor和Worker已取得任务状态,不依赖Nimbus持续在线);但新的调度、管理操作或后续故障恢复仍可能等待Nimbus恢复。可迁移启发:判断一个”管理者/协调者”组件是否真正做到了无状态解耦,一个很实用的验收标准就是问”如果管理者短时故障,已运行任务的数据处理能否持续”;即使答案是肯定的,还须单独验证新任务调度、管理与故障迁移,才能判断无状态解耦的边界,而不是仅仅嘴上说”无状态”却仍然偷偷持有一些内存态。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》之"13.2.1 Storm概念与架构"与"13.2.3 Storm内部原理"(源文件:_epub-src/OEBPS/text00104.html) - 结论依据:原文说明"Nimbus是无状态的,可通过'kill-9'杀掉它而不影响正常应用程序的运行……ZooKeeper是Nimbus和Supervisor之间的协调者,它的引入使得Nimbus和Supervisor之间解耦,由于Storm集群中所有状态均可靠地保存在ZooKeeper上,这使得Nimbus自身变成无状态,以上设计使得Storm集群的容错性和鲁棒性很好……Numbus不会直接与Supervisor交互,而是通过ZooKeeper协调完成的", 直接支撑本卡关于Nimbus无状态解耦的结论。 - 原始内容:Worker周期性将运行状态写到ZooKeeper上,Supervisor周期性将Executor的运行状态写到ZooKeeper上,而Nimbus则通过ZooKeeper监控各个组件健康状态,一旦发现某个组件出现故障则将其转移到其他节点上。