知识卡片
Sqoop关系库与HDFS互导
Sqoop是Apache下的开源数据同步工具,既能把MySQL、Oracle等关系库数据导入HDFS,也能把HDFS数据同步回关系库。它用MapReduce执行导入导出,导入时按切分列(通常是主键)把行均分到多个任务,借并行与容错提升效率。原文反复提示并行度参数要谨慎——设得过小任务过慢,设得过大会用大量并发任务把线上DB压垮。更隐蔽的风险在导出:多个进程不在同一事务里,导出不是原子操作,任务失败后重跑自己那部分数据可能插入重复记录产生脏数据,因此目标库要靠主键或唯一索引兜底。全量同步一般用定时任务放在低峰执行,Sqoop只适用于离线场景。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 5.4 数据同步
原书出处 · 1 处
- 第5章 数据分析 5.4 数据同步 · 查看原书依据
Sqoop是Apache下的一个开源数据同步工具,支持关系型数据到Hadoop的数据导入和导出功能,既能够通过Sqoop将关系型数据库(如MySQL、Oracle)中的数据导入到HDFS,也能够通过Sqoop从HDFS中将数据同步回关系型数据库。
参考来源
- 位置:《大型分布式网站架构设计与实践》第5章《5.4 数据同步》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_004.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `f7d236150882ce195547192ebe70ee9968add7b50b93184ad4b9fbf59fc7ea0b`)
- 结论依据:原文『Sqoop使用MapReduce来执行数据导入和导出任务,提升了操作的并行效率和容错能力』支撑并行机制,同节『--m表示并行的map任务数量……有可能将线上DB压垮』与『可能会插入重复的记录,导致脏数据的产生』给出两处权衡与边界。
- 原始内容:Sqoop是Apache下的一个开源数据同步工具,支持关系型数据到Hadoop的数据导入和导出功能,既能够通过Sqoop将关系型数据库(如MySQL、Oracle)中的数据导入到HDFS,也能够通过Sqoop从HDFS中将数据同步回关系型数据库。