知识卡片
流水线要可控
可控的数据流水线需要几件核心装备:调度引擎,负责任务的发布、运行和容错,管理任务依赖和重跑,收集运行元数据;版本控制,给数据应用定版本、建分支,避免破坏正在生产的数据;还要把实验和生产、脱敏和敏感数据的流水线分开管理。可控不是任务准时触发,而是延迟、失败和质量异常时能定位、恢复和追责,见[[DataOps连接价值]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《云原生数据中台:架构、方法论与实践》第12章《数据流水线管理》(源文件:_epub-src/OEBPS/Text/chapter159.xhtml、_epub-src/OEBPS/Text/chapter160.xhtml)
- 结论依据:原文列出数据流水线管理系统组成,包括调度引擎(负责任务发布、运行、容错,管理依赖与重跑,收集运行元数据,为核心部分)、版本控制(定义数据应用版本、创建流水线分支,避免破坏生产数据)等;企业需自动化流水线生命周期管理,分开实验与生产、脱敏与敏感数据流水线。
- 原始内容:·版本控制:能够对数据应用进行版本定义,并创建数据流水线的分支,避免对正在用于生产的数据进行破坏性的操作。……·调度引擎:这是整个数据流水线管理系统的核心部分,负责所有任务的发布、运行、容错,管理数据任务之间的依赖、重跑,以及收集批处理数据应用运行的元数据等。