知识卡片

结构图卡 · 2824.b.1.b

YARN高可用三层设计与ZooKeeper脑裂防护

理解等级:未标注

ResourceManager同样是[[双Master架构的核心难题:leader选举与脑裂防止]]中提到的那类单点,YARN的高可用设计分三层来应对不同粒度的故障。第一层ResourceManager HA:引入Active/Standby RM,故障时Standby通过ZooKeeper选举成为新Active——这解决”谁是master”的问题。第二层ResourceManager Recovery:光选出新Active还不够,新RM必须找回旧RM的运行状态才能接着服务,因此Active RM运行时持续把应用元信息、状态、安全凭证写入一个持久化的state-store,YARN提供三种可选实现——基于ZooKeeper(唯一能防止脑裂,即同时存在多个Active RM状态信息的情况,是RM HA场景下的必选项)、基于HDFS或本地文件系统(更通用但不能防脑裂)、基于LevelDB(更轻量,原子操作和IO效率更好,但同样不解决脑裂);新RM重启后从state-store加载元信息,随后各NodeManager重新向它注册并汇报自己管理的Container,逐步重构出完整的资源分配和应用状态视图,同时各AM也会向新RM重新发起资源请求。第三层NodeManager Recovery:NM本身重启时不会杀掉正在运行的Container,而是由重启后的新NM直接接管这些Container继续运行——这一层解决的是”管理者重启不该影响它管理的东西正在做的事”这个更细粒度的问题。三层配合可让已有Container在所述RM/NM恢复路径中继续运行;新RM仍需从state-store恢复并等待NM/AM重新注册,资源申请与控制面可能短暂受影响,不能推出所有应用零中断。可迁移启发:高可用设计不能只解决”谁是新的负责人”,还必须同时解决”新负责人如何拿到旧负责人手里的完整状态”,否则选举成功后系统依然会因为状态丢失而表现异常。

结构图:

flowchart TB
  A["YARN高可用三层设计"]
  A --> L1["第一层:ResourceManager HA<br/>Active/Standby,故障时ZooKeeper选举切换"]
  A --> L2["第二层:ResourceManager Recovery<br/>state-store持久化元信息(ZooKeeper/HDFS/LevelDB)<br/>仅ZooKeeper可防脑裂<br/>新RM加载状态+NM重新注册+AM重新申请资源"]
  A --> L3["第三层:NodeManager Recovery<br/>NM重启不杀Container,由新NM接管继续运行"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第9章《资源管理与调度系统YARN》之"9.3.2 YARN高可用"(源文件:_epub-src/OEBPS/text00069.html) - 结论依据:原文说明"ZooKeeper是ResourceManager HA必选的state-store,尽管Resource Restart可选择其他state-store,但只有ZooKeeper能防止脑裂(split-brain)现象……新启动的Resource-Manager将从存储系统中重新加载应用程序的相关数据……各个NodeManager会向它重新注册……NodeManager内置了重启恢复功能,当NodeManager就地重启时,之前正在运行的Container不会被杀掉,而是由新的NodeManager接管,并继续正常运行", 直接支撑本卡三层高可用设计的结构图。 - 原始内容:以上几种高可用机制的实现,使得YARN成为一个通用的资源管理系统,这使得在一个集群中混合部署短作业和长服务变得可能。