知识卡片
周期流水线随数据增长变脆
周期性流水线初次调好参数后可能很稳定,但数据量自然增长后会出现超时、资源耗尽、个别分块卡住。大数据靠切小块并行,可分块大小不均:按客户分块时,最大客户决定整条流水线的完成时间;排序这类要等全部数据就位的操作也会拖慢全局。常见的“杀掉重启”反而更糟,因为没有记录状态,所有分块都要重算。问题本身是持续的,就不该用周期设计。发散:调好参数的系统,会被增长慢慢调坏。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 数据处理流水线 · 查看原书依据
然而,SRE运维经验证明,周期性的数据流水线模型是非常脆弱易坏的。我们发现当第一次安装周期性流水线时,工作进程数量、运行周期、分块处理技术,以及其他参数仔细调校过后,整个流水线的性能可能很稳定。但是随着数据量的自然增长等种种变化会对整个系统造成压力,导致各种各样的问题出现。这种问题包括任务运行超时、资源耗尽,某些分块处理卡住导致整体运维压力上升等。
参考来源
- 位置:《SRE:Google运维解密》第25章《数据处理流水线》(源文件:`_epub-src/OEBPS/Text/0009_0016.xhtml`)
- 结论依据:原文说明周期性流水线随数据增长变得脆弱、分块不均与卡住分块的原因,以及重启导致全部重算,并主张持续性问题不用周期设计。
- 原始内容:然而,SRE运维经验证明,周期性的数据流水线模型是非常脆弱易坏的。