知识卡片

普通读书笔记卡 · 2275.as.6.o

数据库抽取配置与逻辑分离

理解等级:中级

结构化抽取可将连接、目标库表和通用运行参数集中在公共脚本,把各来源表的筛选逻辑留在小任务中。这样减少复制脚本带来的维护成本,并可按来源组织调度。书中Sqoop脚本是历史实现,未在本次环境运行,也不复制其中网络地址和凭据路径为现实配置。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.2.1 结构化数据采集”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter146.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:结构化抽取可将连接、目标库表和通用运行参数集中在公共脚本,把各来源表的筛选逻辑留在小任务中。其余范围限定用于避免超出书内证据。 - 原始内容:从以上代码可以看出,每个表的抽取都要写这样一个脚本,并且大量代码都是重复代码。如果每个脚本都这样重复复制,将非常不利于日后的维护。为此,我们写了这样一个通用脚本,并下沉到大数据技术中台中。