知识卡片
Hadoop三大核心
Hadoop 最核心的是三大块:HDFS 负责分布式存储,MapReduce 是计算引擎,把任务分给多台机器并行计算再汇总,Yarn 负责资源调度和管理。Hadoop 1 的 JobTracker 既管资源又跟踪任务,存在单点故障、资源消耗大,集群规模上限约 4000 个节点;Hadoop 2 引入 Yarn 后,资源管理从计算框架中独立出来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第3章《大数据基础》(源文件:_epub-src/OEBPS/Text/chapter3.xhtml)
- 结论依据:原文说明Hadoop最核心的框架设计有三大块:HDFS分布式存储、MapReduce计算引擎、Yarn资源调度和管理;MapReduce让多台机器分任务并行运算后汇总;Hadoop 1的JobTracker存在单点故障、资源消耗过多,只能支持约4000节点,Hadoop 2引入Yarn管理。
- 原始内容:Hadoop最核心的框架设计有三大块:HDFS分布式存储、MapReduce计算引擎、Yarn资源调度和管理。……这便是业界普遍总结出旧版本Hadoop的MapReduce只能支持上限为4000节点的主机,扩展性能差。