知识卡片

普通读书笔记卡 · 7176.e · 生成模型:Tencent Hunyuan Hy

Hadoop双核心组件

理解等级:初级

Hadoop源于Google的几篇论文:Google未开源、只给方案,Doug Cutting等人做出分布式文件系统与MapReduce并发展成Hadoop,2006年开源。它把作业切成小任务放到集群节点执行,开发者无需了解底层细节即可做大规模并行计算。核心是两件东西:分布式文件系统HDFS负责高可靠、高容错、高吞吐的存储;编程模型MapReduce负责大规模数据集并行计算。HDFS采用主从结构,NameNode维护文件名到数据块的映射与块所在机器列表,DataNode管本机存储,客户端查到块位置后直连DataNode读取,避免主节点成为数据通路瓶颈。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 数据分析 5.2 离线数据分析 · 查看原书依据

      Hadoop项目的核心便是分布式文件系统HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)和编程模型MapReduce,HDFS用来对海量的数据提供高可靠性、高容错性、高可扩展性、高吞吐的存储解决方案,而MapReduce则是一种用来处理海量数据的并行编程模型和计算框架,用于对大规模的数据集进行并行计算。

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第5章《5.2 离线数据分析》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_002.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `d6c2a2e1d2c348204636896d9ca53c1399cd3aad90a4f4d3afe95569fd28d9bc`) - 结论依据:原文『Hadoop项目的核心便是分布式文件系统HDFS……和编程模型MapReduce』一句直接界定双核心,同节对NameNode与DataNode分工的描述支撑主从架构说明。 - 原始内容:Hadoop项目的核心便是分布式文件系统HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)和编程模型MapReduce,HDFS用来对海量的数据提供高可靠性、高容错性、高可扩展性、高吞吐的存储解决方案,而MapReduce则是一种用来处理海量数据的并行编程模型和计算框架,用于对大规模的数据集进行并行计算。