知识卡片
惊群与摩尔负载模式
大型周期流水线每次可能同时启动几千个工作进程,单机进程过多、配置错误或重试不当,都可能压垮机器、集群服务和网络;不重试会丢工作,重试太简单又会放大问题;赶不上进度时加工作进程,常使情况更糟。还有不易察觉的“摩尔负载模式”:多条流水线的执行周期部分重叠,同时消耗某个共享资源,单看各自用量不明显,叠加后才发现合计负载冲到危险水平。发散:共享资源要看叠加曲线。参见[[用问号打散整点任务]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 数据处理流水线 · 查看原书依据
有的时候这种“惊群效应”不那么容易发现。另外一个相关问题,我们称之为“摩尔负载模式”(Moiré Load Pattern)。该问题是指两个或者更多的流水线任务同时运行时,某些执行过程重叠,导致它们同时消耗某个共享资源。这个问题也会在持续性流水线中出现,但是在负载比较平衡的时候就很少出现了。
参考来源
- 位置:《SRE:Google运维解密》第25章《数据处理流水线》(源文件:`_epub-src/OEBPS/Text/0009_0016.xhtml`)
- 结论依据:原文描述周期流水线的惊群效应、重试与人工加进程的放大作用,并定义摩尔负载模式及其在叠加图中的表现。
- 原始内容:该问题是指两个或者更多的流水线任务同时运行时,某些执行过程重叠,导致它们同时消耗某个共享资源。