知识卡片

普通读书笔记卡 · 3122.a

Sqoop用分片并行搬运关系数据

理解等级:中级

Sqoop1 把关系表迁移改写为并行 Map 任务:先按表大小和并发度划分数据,每个任务读取一个分片并写入目标。分片使吞吐可扩展,也把压力并发施加到源库;因此迁移计划要选定分片列并控制任务数。MapReduce 的容错能力为任务失败恢复提供基础,但不能替代对源库负载的评估。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第2章《关系型数据的收集》2.2–2.3(源文件:_epub-src/OEBPS/text00015.html;_epub-src/OEBPS/text00016.html) - 结论依据:原文说明 Sqoop1 迁移任务转换为 MapReduce 作业,按表大小和并发度分片,并以限制 mapper 数控制对 MySQL 的负载。 - 原始内容:Sqoop会从关系型数据库中读取元信息,并根据并发度和数据表大小将数据划分成若干分片,每片交给一个Map Task处理……为了防止并发的任务数目过多对MySQL产生过大负载,该命令限制并发任务数目为10。