知识卡片

普通读书笔记卡 · 2824

Hadoop三大核心

理解等级:未标注

Hadoop 最核心的是三大块:HDFS 负责分布式存储,MapReduce 是计算引擎,把任务分给多台机器并行计算再汇总,Yarn 负责资源调度和管理。Hadoop 1 的 JobTracker 既管资源又跟踪任务,存在单点故障、资源消耗大,集群规模上限约 4000 个节点;Hadoop 2 引入 Yarn 后,资源管理从计算框架中独立出来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习实战》第3章《大数据基础》(源文件:_epub-src/OEBPS/Text/chapter3.xhtml) - 结论依据:原文说明Hadoop最核心的框架设计有三大块:HDFS分布式存储、MapReduce计算引擎、Yarn资源调度和管理;MapReduce让多台机器分任务并行运算后汇总;Hadoop 1的JobTracker存在单点故障、资源消耗过多,只能支持约4000节点,Hadoop 2引入Yarn管理。 - 原始内容:Hadoop最核心的框架设计有三大块:HDFS分布式存储、MapReduce计算引擎、Yarn资源调度和管理。……这便是业界普遍总结出旧版本Hadoop的MapReduce只能支持上限为4000节点的主机,扩展性能差。