知识卡片

普通读书笔记卡 · 9754.l · 生成模型:DeepSeek-V4.1-Flash

YARN 拆开资源与调度

理解等级:高级

早期 Hadoop 用 JobTracker 与 TaskTracker 管作业:客户端把作业交给 JobTracker,JobTracker 与 NameNode 通信找出数据块所在节点,再把 map 与 reduce 任务派给工人节点上的 TaskTracker;TaskTracker 定期汇报,任务失败就换节点重跑。为了性能,任务应尽量派给存有输入块的节点。

问题在于 JobTracker 同时负责资源管理与任务调度监控,集群一大就是瓶颈;而且这套机制只为 MapReduce 服务,其他计算模型挤不进来。

YARN(又称 MapReduce 2.0)把两件事拆开:资源管理归全局组件,任务的调度与监控归作业自己的管理进程。于是同一集群可以跑非 MapReduce 模型,例如更适合图处理的整体同步并行(BSP),Apache Hama 就是借助 YARN 运行这类负载的例子。

判断要点:YARN 不是新的编程模型,而是资源层;它把 Hadoop 从”MapReduce 专用集群”变成”多框架共享集群”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据

      YARN把集群的资源管理从对运行在集群上任务的调度和监控中分离了出来。YARN的实现使得在Hadoop环境中运行非MapReduce计算模型成为可能。例如整体同步并行(Bulk Synchronous Parallel,BSP)[21]模型可能比MapReduce[22]更适合图形处理。实现了BSP模型的Apache Hama是使用YARN功能的其中一个应用。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.3 节第 5 小节关于 JobTracker 与 TaskTracker 旧机制,以及 YARN 把资源管理与任务调度监控分离、支持 BSP 等模型的论述。 - 原始内容:YARN把集群的资源管理从对运行在集群上任务的调度和监控中分离了出来。YARN的实现使得在Hadoop环境中运行非MapReduce计算模型成为可能。例如整体同步并行(Bulk Synchronous Parallel,BSP)[21]模型可能比MapReduce[22]更适合图形处理。实现了BSP模型的Apache Hama是使用YARN功能的其中一个应用。