← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2275.as.6.l

结构化与非结构化采集分路

理解等级:中级

数据库中已有业务记录可以走结构化抽取;日志、文件等来源则需要另外采集和解析。两路面向不同数据形态,最终都要明确来源、格式和如何进入分析平台。书中选用的Sqoop、Kafka与Spark Streaming是具体技术组合,不是所有系统唯一方案。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据

      结构化采集,即从传统的数据库中采集数据。数据库存放的是各类业务系统的数据,这些数据既真实反映了客观发生的事物,又结构清晰、数据质量较高,是数据中台的主要数据来源,但它受限于是否有这样的业务系统,以及是否开展了这样的业务。在大数据技术中,可以采用开源组件Sqoop抽取数据库的数据,然后存放到大数据平台中。Sqoop具有更好的通用性,对各类数据库都支持,但如果希望拥有更好的数据抽取性能,可以对特定数据库采用各自不同的方式。

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第10章《大数据时代变革》“10.3.2 数据中台建设的核心”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter138.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:数据库中已有业务记录可以走结构化抽取;日志、文件等来源则需要另外采集和解析。其余范围限定用于避免超出书内证据。 - 原始内容:结构化采集,即从传统的数据库中采集数据。数据库存放的是各类业务系统的数据,这些数据既真实反映了客观发生的事物,又结构清晰、数据质量较高,是数据中台的主要数据来源,但它受限于是否有这样的业务系统,以及是否开展了这样的业务。在大数据技术中,可以采用开源组件Sqoop抽取数据库的数据,然后存放到大数据平台中。Sqoop具有更好的通用性,对各类数据库都支持,但如果希望拥有更好的数据抽取性能,可以对特定数据库采用各自不同的方式。