知识卡片

普通读书笔记卡 · 2275.as.6.j.3.f

ETL作为源变更缓冲层

理解等级:中级

上游系统字段与规则变化若直接传给每个分析任务,维护范围会不断扩大。ETL把来源差异转换成较稳定的共享结构,使多数分析继续使用共同口径。它降低变化传播,并不保证所有上游语义变化都能不修改下游。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据技术中台 11.3.2 ETL过程的设计实践 · 查看原书依据

      更关键的是,数据来源的业务系统也是在不断地更新维护中的,任何一个变更都会对下游的数据分析程序产生巨大的影响。因此,有了ETL过程作为一个缓冲区,当上游的业务系统变更时,只需要对ETL过程进行相应变更,下游的数据分析就能够比较稳定,从而降低系统维护成本。

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.3.2 ETL过程的设计实践”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter150.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:上游系统字段与规则变化若直接传给每个分析任务,维护范围会不断扩大。其余范围限定用于避免超出书内证据。 - 原始内容:更关键的是,数据来源的业务系统也是在不断地更新维护中的,任何一个变更都会对下游的数据分析程序产生巨大的影响。因此,有了ETL过程作为一个缓冲区,当上游的业务系统变更时,只需要对ETL过程进行相应变更,下游的数据分析就能够比较稳定,从而降低系统维护成本。