知识卡片

普通读书笔记卡 · 5304

单相与多相流水线

理解等级:初级

数据流水线读取输入、做变换、输出新数据,通常由类似 Cron 的调度器周期运行,与 UNIX 管道、ETL 一脉相承。对大数据周期或持续做变换的单个程序叫单相流水线;把多个程序串起来、前一个的输出作为后一个的输入,就是多相流水线,这样做主要为便于理解,效率未必最优。串联的程序个数叫深度,浅的只有 1 个,深的可达几百个。发散:深度越大,任一环的抖动越会传到下游。参见[[周期流水线随数据增长变脆]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第25章 数据处理流水线 · 查看原书依据

      由于大数据与生俱来的海量级别和处理的高复杂度,这种程序通常会被串联起来执行,一个程序的输出作为另外一个程序的输入。这种编排方式有很多种原因,但是最常见的原因是,这样设计有助于理解系统的逻辑,但是这在系统效率方面并不一定是最优方案。我们将这样构建的程序称为多相流水线(multiphase pipeline),因为整个链条中的每一个程序都是一个独立的数据处理单元。

    参考来源

    - 位置:《SRE:Google运维解密》第25章《数据处理流水线》(源文件:`_epub-src/OEBPS/Text/0009_0016.xhtml`) - 结论依据:原文定义数据流水线、单相与多相流水线及深度,并说明串联的主要动机是便于理解而非效率。 - 原始内容:我们将这样构建的程序称为多相流水线(multiphase pipeline),因为整个链条中的每一个程序都是一个独立的数据处理单元。