知识卡片
Hadoop 生态的职责边界
围绕 HDFS 与 MapReduce,长出一圈分工明确的组件。按”数据在哪、算什么、怎么进来”分层看:
| 层 | 组件 | 职责 | | 存储 | HDFS | 分布式存放块与副本 | | 执行 | MapReduce、YARN | 批处理计算、资源与调度 | | 高层接口 | Pig、Hive | 数据流脚本、类 SQL,翻译成 MapReduce | | 实时访问 | HBase | 按行键实时读写,不必经过 MapReduce | | 分析库 | Mahout | 在集群内跑分类、聚类、协同过滤 | | 数据进出 | Sqoop、Flume | 与关系库批量搬运、采集聚合流数据 | | 流程编排 | Oozie | 调度作业工作流 |
边界要点:Pig、Hive 与 MapReduce 是通用批处理工具,HBase 是专用工具;Mahout 补的是”算法离数据太远”的短板,避免把大数据搬进单机分析工具;Sqoop、Flume、Oozie 解决数据如何进来、作业如何串起来。商业发行版在此之上再加集群管理与 SQL 加速层,例如 Pivotal HD 附带的 HAWQ。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
当Hadoop处理完一个数据集,Mahout提供了一些能够在Hadoop环境中分析数据的工具。例如,第4章中讲解的k均值聚类分析就可以使用Mahout执行。 不同于Pig和Hive的批量处理,HBase能够实时地读写存储在Hadoop环境中的数据。这种实时访问的能力部分是通过将数据存储于内存和HDFS中实现的。同时,HBase无需依赖MapReduce来访问HBase中的数据。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_002.html)
- 结论依据:依据 10.2 节开头的组件清单与批处理、实时访问的区分,10.2.4 节 Mahout 的定位,以及商业发行版中 Oozie、Sqoop、Flume、HAWQ 的介绍。
- 原始内容:当Hadoop处理完一个数据集,Mahout提供了一些能够在Hadoop环境中分析数据的工具。例如,第4章中讲解的k均值聚类分析就可以使用Mahout执行。 不同于Pig和Hive的批量处理,HBase能够实时地读写存储在Hadoop环境中的数据。这种实时访问的能力部分是通过将数据存储于内存和HDFS中实现的。同时,HBase无需依赖MapReduce来访问HBase中的数据。