知识卡片
Sqoop桥接关系库与数仓
书中的Sqoop是关系型数据库与HDFS、Hive、HBase之间的批量数据传输工具。用户提交导入或导出参数后,Sqoop在该版本中生成仅含Mapper的MapReduce作业,由Hadoop执行。它解决的是跨存储系统搬运数据,清洗和统一口径仍需[[ETL整合分散数据]]所述的转换步骤。
结构图:
flowchart LR
R[关系型数据库] <-->|导入或导出| Q[Sqoop参数与作业生成]
Q --> H[Hadoop MapReduce执行]
H <--> D[HDFS或Hive或HBase]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用可伸缩微服务架构》第9章9.4节“使用Sqoop抽取数据”(源文件:OEBPS/Text/chapter014.xhtml;图9-8:OEBPS/Images/394_1.jpg)
- 结论依据:正文说明Sqoop的数据传输范围及自动生成仅含Mapper的MapReduce作业;图9-8展示CLI、Sqoop、MapReduce与源/目标系统。
- 原始内容:Sqoop的主要功能是在关系型数据库与HDFS、Hive、HBase之间传输数据。Sqoop为用户提供了非常方便的客户端,用户只需要提交几条简单的命令即可实现数据的导入/导出。