知识卡片

结构图卡 · 2824.b.1.a

YARN应用运行的两阶段八步工作流程

理解等级:未标注

无论是短作业(MapReduce/Spark)还是长服务(Storm/HBase),运行在YARN上的流程都是同一套两阶段模型:第一阶段先启动这个应用专属的ApplicationMaster,第二阶段再由这个AM自己负责创建应用、申请资源并监控运行——RM只负责”帮你启动第一个Container来运行AM”,剩下的具体调度细节全部甩给AM自己去做。具体拆成八步:①提交应用(客户端把AM可执行代码、启动命令、资源需求等提交给RM);②启动AM(RM分配第一个Container,通知对应NM在其中启动AM,此后AM的生命周期由RM托管);③AM注册(AM启动后向RM注册,用户可以直接通过RM查看应用状态);④资源获取(AM采用轮询方式通过RPC向RM申请和领取资源——这是一个持续循环,不是一次性完成);⑤请求启动Container(AM拿到资源后联系对应NM,要求为任务启动Container);⑥启动Container(NM设置好运行环境后通过ContainerExecutor真正拉起任务);⑦Container监控(AM靠两种方式感知任务状态:与RM之间的周期性心跳获取自己名下Container的运行状态,或Container自己通过RPC主动向AM汇报进度);⑧注销AM(有终止条件的应用完成后AM向RM注销退出;长服务通常持续运行,直到显式停止或故障)。步骤④-⑦按应用需要持续重复,这正是AM能”监控所有任务运行状态、在任务失败时重新申请资源重启”这一职责得以实现的关键循环。可迁移启发:把”启动管理者”和”管理者自主运作”拆成两个独立阶段,能让平台(RM)只需要理解如何拉起一个通用的AM进程,而不需要理解每种应用框架内部具体的任务调度逻辑,这是YARN能承载异构计算框架的流程层面基础。

结构图:

flowchart TB
  A["1.提交应用(Client→RM)"] --> B["2.启动AM(RM分配Container,NM拉起AM)"]
  B --> C["3.AM向RM注册"]
  C --> D["4.资源获取(AM轮询向RM申请Container)"]
  D --> E["5.请求启动Container(AM→对应NM)"]
  E --> F["6.NM真正启动Container运行任务"]
  F --> G["7.Container监控(心跳或RPC汇报进度)"]
  G -->|"按应用需要循环4-7"| D
  G --> H["8.有终止条件的应用完成后注销AM"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第9章《资源管理与调度系统YARN》之"9.3.3 YARN工作流程"(源文件:_epub-src/OEBPS/text00069.html) - 结论依据:原文说明"YARN将分两个阶段运行该应用程序:第一个阶段是启动ApplicationMaster;第二个阶段是由ApplicationMaster创建应用程序,为它申请资源,并监控它的整个运行过程,直到运行成功……ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源……然后,它将初始化应用程序,并按照一定的策略为内部任务申请资源,监控它们的运行状态,直到运行结束,即重复步骤4~7", 支撑共同的启动、注册与资源申请路径;第8步适用于运行完成的应用,长服务的持续运行边界见同页描述。 - 原始内容:应用程序运行完成后,ApplicationMaster向ResourceManager注销,并退出执行。