知识卡片
ETL作为源变更缓冲层
上游系统字段与规则变化若直接传给每个分析任务,维护范围会不断扩大。ETL把来源差异转换成较稳定的共享结构,使多数分析继续使用共同口径。它降低变化传播,并不保证所有上游语义变化都能不修改下游。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.3.2 ETL过程的设计实践 · 查看原书依据
更关键的是,数据来源的业务系统也是在不断地更新维护中的,任何一个变更都会对下游的数据分析程序产生巨大的影响。因此,有了ETL过程作为一个缓冲区,当上游的业务系统变更时,只需要对ETL过程进行相应变更,下游的数据分析就能够比较稳定,从而降低系统维护成本。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.3.2 ETL过程的设计实践”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter150.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:上游系统字段与规则变化若直接传给每个分析任务,维护范围会不断扩大。其余范围限定用于避免超出书内证据。
- 原始内容:更关键的是,数据来源的业务系统也是在不断地更新维护中的,任何一个变更都会对下游的数据分析程序产生巨大的影响。因此,有了ETL过程作为一个缓冲区,当上游的业务系统变更时,只需要对ETL过程进行相应变更,下游的数据分析就能够比较稳定,从而降低系统维护成本。