知识卡片
流水线管全流程
数据流水线管理的是从原始数据到报表、大屏、数据服务等最终能力的整个转换过程,像工厂里从原料到成品的流水线:每个程序的输入输出是什么,关联程序如何协调运行,如何保证程序和数据的质量,出问题时如何报警。它比ETL更宽,ETL只是其中的萃取、转换、加载环节,流水线要管住所有数据流动的全流程。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《云原生数据中台:架构、方法论与实践》第12章《数据流水线管理》(源文件:_epub-src/OEBPS/Text/chapter151.xhtml)
- 结论依据:原文说明数据流水线是从原始数据到最终数据能力(报表、大屏、数据服务)的整个转换流程的管理系统,管理其中的程序和数据:输入输出、程序协调、质量保障、问题报警;它是比ETL更广的术语,包含ETL,管理系统中所有数据流动的全流程。
- 原始内容:简单来讲,数据流水线就是从原始数据到最终数据能力(如报表、大屏、数据服务)的整个转换流程的管理系统……数据流水线是一个更为广泛的术语,其中包含ETL。