知识卡片

结构图卡 · 3122.d

Sqoop桥接关系库与数仓

理解等级:中级

书中的Sqoop是关系型数据库与HDFS、Hive、HBase之间的批量数据传输工具。用户提交导入或导出参数后,Sqoop在该版本中生成仅含Mapper的MapReduce作业,由Hadoop执行。它解决的是跨存储系统搬运数据,清洗和统一口径仍需[[ETL整合分散数据]]所述的转换步骤。

结构图:

flowchart LR
    R[关系型数据库] <-->|导入或导出| Q[Sqoop参数与作业生成]
    Q --> H[Hadoop MapReduce执行]
    H <--> D[HDFS或Hive或HBase]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用可伸缩微服务架构》第9章9.4节“使用Sqoop抽取数据”(源文件:OEBPS/Text/chapter014.xhtml;图9-8:OEBPS/Images/394_1.jpg) - 结论依据:正文说明Sqoop的数据传输范围及自动生成仅含Mapper的MapReduce作业;图9-8展示CLI、Sqoop、MapReduce与源/目标系统。 - 原始内容:Sqoop的主要功能是在关系型数据库与HDFS、Hive、HBase之间传输数据。Sqoop为用户提供了非常方便的客户端,用户只需要提交几条简单的命令即可实现数据的导入/导出。