知识卡片
结构化与非结构化采集分路
数据库中已有业务记录可以走结构化抽取;日志、文件等来源则需要另外采集和解析。两路面向不同数据形态,最终都要明确来源、格式和如何进入分析平台。书中选用的Sqoop、Kafka与Spark Streaming是具体技术组合,不是所有系统唯一方案。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
结构化采集,即从传统的数据库中采集数据。数据库存放的是各类业务系统的数据,这些数据既真实反映了客观发生的事物,又结构清晰、数据质量较高,是数据中台的主要数据来源,但它受限于是否有这样的业务系统,以及是否开展了这样的业务。在大数据技术中,可以采用开源组件Sqoop抽取数据库的数据,然后存放到大数据平台中。Sqoop具有更好的通用性,对各类数据库都支持,但如果希望拥有更好的数据抽取性能,可以对特定数据库采用各自不同的方式。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第10章《大数据时代变革》“10.3.2 数据中台建设的核心”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter138.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:数据库中已有业务记录可以走结构化抽取;日志、文件等来源则需要另外采集和解析。其余范围限定用于避免超出书内证据。
- 原始内容:结构化采集,即从传统的数据库中采集数据。数据库存放的是各类业务系统的数据,这些数据既真实反映了客观发生的事物,又结构清晰、数据质量较高,是数据中台的主要数据来源,但它受限于是否有这样的业务系统,以及是否开展了这样的业务。在大数据技术中,可以采用开源组件Sqoop抽取数据库的数据,然后存放到大数据平台中。Sqoop具有更好的通用性,对各类数据库都支持,但如果希望拥有更好的数据抽取性能,可以对特定数据库采用各自不同的方式。