知识卡片
YARN拆分两类职责
早期 MapReduce 由 JobTracker 同时管资源分配和作业任务监控,成为瓶颈。YARN 把两者拆开:全局 ResourceManager 只负责分配资源,不关心任务是否成功;每个应用有自己的 ApplicationMaster,负责协调、监控和重启任务。这样资源层可同时服务多种计算框架。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第5章《大数据技术介绍》"5.1.1 Hadoop生态"之"YARN"(源文件:_epub-src/OEBPS/text00068.html)
- 结论依据:原文说明"为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性,并消除早期Map Reduce框架中的Job Tracker性能瓶颈,开源社区引入了统一的资源管理框架YARN""Resource Manager会追踪集群中有多少可用的活动节点和资源……Application Master会竭尽全力协调容器,启动所有需要的任务来完成它的应用程序""您可以认为Resource Manager负责管理Application Master,而Application Masters负责管理任务",直接支撑本卡结论。
- 原始内容:为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性,并消除早期Map Reduce框架中的Job Tracker性能瓶颈,开源社区引入了统一的资源管理框架YARN……您可以认为Resource Manager负责管理Application Master,而Application Masters负责管理任务