知识卡片
数据库抽取配置与逻辑分离
结构化抽取可将连接、目标库表和通用运行参数集中在公共脚本,把各来源表的筛选逻辑留在小任务中。这样减少复制脚本带来的维护成本,并可按来源组织调度。书中Sqoop脚本是历史实现,未在本次环境运行,也不复制其中网络地址和凭据路径为现实配置。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.2.1 结构化数据采集 · 查看原书依据
从以上代码可以看出,每个表的抽取都要写这样一个脚本,并且大量代码都是重复代码。如果每个脚本都这样重复复制,将非常不利于日后的维护。为此,我们写了这样一个通用脚本,并下沉到大数据技术中台中。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.2.1 结构化数据采集”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter146.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:结构化抽取可将连接、目标库表和通用运行参数集中在公共脚本,把各来源表的筛选逻辑留在小任务中。其余范围限定用于避免超出书内证据。
- 原始内容:从以上代码可以看出,每个表的抽取都要写这样一个脚本,并且大量代码都是重复代码。如果每个脚本都这样重复复制,将非常不利于日后的维护。为此,我们写了这样一个通用脚本,并下沉到大数据技术中台中。