知识卡片
单相与多相流水线
数据流水线读取输入、做变换、输出新数据,通常由类似 Cron 的调度器周期运行,与 UNIX 管道、ETL 一脉相承。对大数据周期或持续做变换的单个程序叫单相流水线;把多个程序串起来、前一个的输出作为后一个的输入,就是多相流水线,这样做主要为便于理解,效率未必最优。串联的程序个数叫深度,浅的只有 1 个,深的可达几百个。发散:深度越大,任一环的抖动越会传到下游。参见[[周期流水线随数据增长变脆]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 数据处理流水线 · 查看原书依据
由于大数据与生俱来的海量级别和处理的高复杂度,这种程序通常会被串联起来执行,一个程序的输出作为另外一个程序的输入。这种编排方式有很多种原因,但是最常见的原因是,这样设计有助于理解系统的逻辑,但是这在系统效率方面并不一定是最优方案。我们将这样构建的程序称为多相流水线(multiphase pipeline),因为整个链条中的每一个程序都是一个独立的数据处理单元。
参考来源
- 位置:《SRE:Google运维解密》第25章《数据处理流水线》(源文件:`_epub-src/OEBPS/Text/0009_0016.xhtml`)
- 结论依据:原文定义数据流水线、单相与多相流水线及深度,并说明串联的主要动机是便于理解而非效率。
- 原始内容:我们将这样构建的程序称为多相流水线(multiphase pipeline),因为整个链条中的每一个程序都是一个独立的数据处理单元。