知识卡片

普通读书笔记卡 · 2774.c

YARN拆分两类职责

理解等级:未标注

早期 MapReduce 由 JobTracker 同时管资源分配和作业任务监控,成为瓶颈。YARN 把两者拆开:全局 ResourceManager 只负责分配资源,不关心任务是否成功;每个应用有自己的 ApplicationMaster,负责协调、监控和重启任务。这样资源层可同时服务多种计算框架。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第5章《大数据技术介绍》"5.1.1 Hadoop生态"之"YARN"(源文件:_epub-src/OEBPS/text00068.html) - 结论依据:原文说明"为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性,并消除早期Map Reduce框架中的Job Tracker性能瓶颈,开源社区引入了统一的资源管理框架YARN""Resource Manager会追踪集群中有多少可用的活动节点和资源……Application Master会竭尽全力协调容器,启动所有需要的任务来完成它的应用程序""您可以认为Resource Manager负责管理Application Master,而Application Masters负责管理任务",直接支撑本卡结论。 - 原始内容:为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性,并消除早期Map Reduce框架中的Job Tracker性能瓶颈,开源社区引入了统一的资源管理框架YARN……您可以认为Resource Manager负责管理Application Master,而Application Masters负责管理任务