知识卡片

普通读书笔记卡 · 2275.as.6.p

结构化抽取须考虑源库负载

理解等级:高级

从业务数据库抽取数据,通用连接方式便于兼容,但吞吐和负载仍需评估。可比较增量窗口、原生导出或日志等方式,再按源系统条件选择。提高采集频率会改变每批大小与实时性,却不自动减少总工作量或提升总吞吐。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据技术中台 11.2.1 结构化数据采集 · 查看原书依据

      Sqoop是在大数据框架中专门用于采集数据库中数据的组件。它通过JDBC连接数据库,通过SQL查询数据,并将查询到的结果存储到Hive数据库中。由于Sqoop是通过JDBC采集数据的,具有较好的通用性,但数据抽取的性能并不高,因此,要提高采集效率有两种优化措施:提高采集频率,即每日分时段多次采集;或者通过一些特定数据库的数据导出、数据备份、数据日志等方式获取数据,进而获得更高的数据抽取性能。

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.2.1 结构化数据采集”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter146.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:从业务数据库抽取数据,通用连接方式便于兼容,但吞吐和负载仍需评估。其余范围限定用于避免超出书内证据。 - 原始内容:Sqoop是在大数据框架中专门用于采集数据库中数据的组件。它通过JDBC连接数据库,通过SQL查询数据,并将查询到的结果存储到Hive数据库中。由于Sqoop是通过JDBC采集数据的,具有较好的通用性,但数据抽取的性能并不高,因此,要提高采集效率有两种优化措施:提高采集频率,即每日分时段多次采集;或者通过一些特定数据库的数据导出、数据备份、数据日志等方式获取数据,进而获得更高的数据抽取性能。