知识卡片
Pig 与 Hive 的外壳
两者都把 MapReduce 的细节藏起来:用户写高层代码,系统翻译成一个或多个 MapReduce 作业。因此它们都只适合批处理。
Pig:数据流语言 Pig Latin 加执行环境。进入 grunt 提示符后写语句,例如 LOAD 客户文件并声明四个字段、FILTER 出邮箱以某域名结尾的记录、STORE 到 HDFS 目录;也可存成脚本用 pig 加脚本名提交。关键机制是延迟执行:STORE 之前只构建执行计划,STORE 才真正启动作业。Pig 支持 join、GROUP BY 与大量内置函数,还能用用户定义函数(UDF)扩展。
Hive:HiveQL 是类 SQL 的声明式语言,表有行与列,适合把 HDFS 上的数据重新结构化。create table 指定分隔符,load data inpath 载入,select 加 inner join 完成连接,查询被翻译成 MapReduce 作业。
选型:熟悉 SQL、数据已在 HDFS、只需定期追加、能接受批处理延迟,用 Hive;需要实时读写或频繁更新行,改用 HBase。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
通过隐藏MapReduce程序开发的细节,Pig和Hive允许开发人员编写高层次代码,然后后续转换成一个或多个MapReduce程序。因为MapReduce是专门针对批处理的,因此Pig和Hive也专门针对批量处理用例。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_002.html)
- 结论依据:依据 10.2 节对 Pig 与 Hive 隐藏 MapReduce 细节、面向批处理的界定,以及 10.2.1、10.2.2 节的具体语句与适用条件。
- 原始内容:通过隐藏MapReduce程序开发的细节,Pig和Hive允许开发人员编写高层次代码,然后后续转换成一个或多个MapReduce程序。因为MapReduce是专门针对批处理的,因此Pig和Hive也专门针对批量处理用例。