知识卡片

普通读书笔记卡 · 2572

MRv1集中瓶颈

理解等级:未标注

MRv1让JobTracker同时管集群资源和每个作业的任务调度,集群一忙它就成了瓶颈,扩展性受限。MRv2(YARN)把它拆开:ResourceManager只把资源封装成Container做一级分配,节点由NodeManager管理,具体任务怎么调度交给每个应用自己的ApplicationMaster。全局资源与应用内调度分层,是Spark等框架能接入同一集群的前提。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第2章《设计理念与基本架构》(源文件:_epub-src/EPUB/text00021.html) - 结论依据:原文说明MRv1中JobTracker既负责资源管理又负责任务调度,集群繁忙时易成瓶颈;MRv2把JobTracker拆为ResourceManager、NodeManager和ApplicationMaster,RM只做一级资源分配,二级调度交给AM。 - 原始内容:在运行时,JobTracker既负责资源管理,又负责任务调度,当集群繁忙时,JobTracker很容易成为瓶颈,最终导致它的可扩展性问题。……JobTracker被拆分成通用的资源调度平台ResourceManager(简称RM),节点管理器NodeManager和负责各个计算框架的任务调度模型ApplicationMaster(简称AM)。