知识卡片
YARN应用运行的两阶段八步工作流程
无论是短作业(MapReduce/Spark)还是长服务(Storm/HBase),运行在YARN上的流程都是同一套两阶段模型:第一阶段先启动这个应用专属的ApplicationMaster,第二阶段再由这个AM自己负责创建应用、申请资源并监控运行——RM只负责”帮你启动第一个Container来运行AM”,剩下的具体调度细节全部甩给AM自己去做。具体拆成八步:①提交应用(客户端把AM可执行代码、启动命令、资源需求等提交给RM);②启动AM(RM分配第一个Container,通知对应NM在其中启动AM,此后AM的生命周期由RM托管);③AM注册(AM启动后向RM注册,用户可以直接通过RM查看应用状态);④资源获取(AM采用轮询方式通过RPC向RM申请和领取资源——这是一个持续循环,不是一次性完成);⑤请求启动Container(AM拿到资源后联系对应NM,要求为任务启动Container);⑥启动Container(NM设置好运行环境后通过ContainerExecutor真正拉起任务);⑦Container监控(AM靠两种方式感知任务状态:与RM之间的周期性心跳获取自己名下Container的运行状态,或Container自己通过RPC主动向AM汇报进度);⑧注销AM(有终止条件的应用完成后AM向RM注销退出;长服务通常持续运行,直到显式停止或故障)。步骤④-⑦按应用需要持续重复,这正是AM能”监控所有任务运行状态、在任务失败时重新申请资源重启”这一职责得以实现的关键循环。可迁移启发:把”启动管理者”和”管理者自主运作”拆成两个独立阶段,能让平台(RM)只需要理解如何拉起一个通用的AM进程,而不需要理解每种应用框架内部具体的任务调度逻辑,这是YARN能承载异构计算框架的流程层面基础。
结构图:
flowchart TB
A["1.提交应用(Client→RM)"] --> B["2.启动AM(RM分配Container,NM拉起AM)"]
B --> C["3.AM向RM注册"]
C --> D["4.资源获取(AM轮询向RM申请Container)"]
D --> E["5.请求启动Container(AM→对应NM)"]
E --> F["6.NM真正启动Container运行任务"]
F --> G["7.Container监控(心跳或RPC汇报进度)"]
G -->|"按应用需要循环4-7"| D
G --> H["8.有终止条件的应用完成后注销AM"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。