知识卡片

普通读书笔记卡 · 5304.a

周期流水线随数据增长变脆

理解等级:中级

周期性流水线初次调好参数后可能很稳定,但数据量自然增长后会出现超时、资源耗尽、个别分块卡住。大数据靠切小块并行,可分块大小不均:按客户分块时,最大客户决定整条流水线的完成时间;排序这类要等全部数据就位的操作也会拖慢全局。常见的“杀掉重启”反而更糟,因为没有记录状态,所有分块都要重算。问题本身是持续的,就不该用周期设计。发散:调好参数的系统,会被增长慢慢调坏。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第25章 数据处理流水线 · 查看原书依据

      然而,SRE运维经验证明,周期性的数据流水线模型是非常脆弱易坏的。我们发现当第一次安装周期性流水线时,工作进程数量、运行周期、分块处理技术,以及其他参数仔细调校过后,整个流水线的性能可能很稳定。但是随着数据量的自然增长等种种变化会对整个系统造成压力,导致各种各样的问题出现。这种问题包括任务运行超时、资源耗尽,某些分块处理卡住导致整体运维压力上升等。

    参考来源

    - 位置:《SRE:Google运维解密》第25章《数据处理流水线》(源文件:`_epub-src/OEBPS/Text/0009_0016.xhtml`) - 结论依据:原文说明周期性流水线随数据增长变得脆弱、分块不均与卡住分块的原因,以及重启导致全部重算,并主张持续性问题不用周期设计。 - 原始内容:然而,SRE运维经验证明,周期性的数据流水线模型是非常脆弱易坏的。