知识卡片

操作参考卡 · 9754.m · 生成模型:DeepSeek-V4.1-Flash

Pig 与 Hive 的外壳

理解等级:中级

两者都把 MapReduce 的细节藏起来:用户写高层代码,系统翻译成一个或多个 MapReduce 作业。因此它们都只适合批处理。

Pig:数据流语言 Pig Latin 加执行环境。进入 grunt 提示符后写语句,例如 LOAD 客户文件并声明四个字段、FILTER 出邮箱以某域名结尾的记录、STORE 到 HDFS 目录;也可存成脚本用 pig 加脚本名提交。关键机制是延迟执行:STORE 之前只构建执行计划,STORE 才真正启动作业。Pig 支持 join、GROUP BY 与大量内置函数,还能用用户定义函数(UDF)扩展。

Hive:HiveQL 是类 SQL 的声明式语言,表有行与列,适合把 HDFS 上的数据重新结构化。create table 指定分隔符,load data inpath 载入,select 加 inner join 完成连接,查询被翻译成 MapReduce 作业。

选型:熟悉 SQL、数据已在 HDFS、只需定期追加、能接受批处理延迟,用 Hive;需要实时读写或频繁更新行,改用 HBase。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_002.html) - 结论依据:依据 10.2 节对 Pig 与 Hive 隐藏 MapReduce 细节、面向批处理的界定,以及 10.2.1、10.2.2 节的具体语句与适用条件。 - 原始内容:通过隐藏MapReduce程序开发的细节,Pig和Hive允许开发人员编写高层次代码,然后后续转换成一个或多个MapReduce程序。因为MapReduce是专门针对批处理的,因此Pig和Hive也专门针对批量处理用例。