知识卡片
业务库与分析平台双向搬运数据
业务数据库和分析平台承担不同负载:大量明细导入分析平台后可用分布式计算处理,避免分析任务直接挤占交易库;分析结果通常远小于输入,又可导回关系数据库供报表和可视化使用。Sqoop 的 import/export 体现了这条双向数据通路。设计搬运链路时要先分清源、目标和两端负载。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第2章《关系型数据的收集》章首、2.1 与 2.3(源文件:_epub-src/OEBPS/text00013.html;_epub-src/OEBPS/text00014.html;_epub-src/OEBPS/text00016.html)
- 结论依据:原文说明关系数据导入 Hadoop 供分析、结果回导关系数据库供展示,并解释不宜让分析系统直接访问事务数据库。
- 原始内容:首先需将这些数据导入到像HDFS、HBase这样的大数据存储系统中……通常需要将Hadoop大数据系统分析产生的结果(比如报表,通常数据量不会太大)导回到关系型数据库中。……我们通常不会直接让Hadoop访问这些关系型数据库,而是单独导入一份到Hadoop存储系统中。