知识卡片

普通读书笔记卡 · 5305

惊群与摩尔负载模式

理解等级:中级

大型周期流水线每次可能同时启动几千个工作进程,单机进程过多、配置错误或重试不当,都可能压垮机器、集群服务和网络;不重试会丢工作,重试太简单又会放大问题;赶不上进度时加工作进程,常使情况更糟。还有不易察觉的“摩尔负载模式”:多条流水线的执行周期部分重叠,同时消耗某个共享资源,单看各自用量不明显,叠加后才发现合计负载冲到危险水平。发散:共享资源要看叠加曲线。参见[[用问号打散整点任务]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第25章 数据处理流水线 · 查看原书依据

      有的时候这种“惊群效应”不那么容易发现。另外一个相关问题,我们称之为“摩尔负载模式”(Moiré Load Pattern)。该问题是指两个或者更多的流水线任务同时运行时,某些执行过程重叠,导致它们同时消耗某个共享资源。这个问题也会在持续性流水线中出现,但是在负载比较平衡的时候就很少出现了。

    参考来源

    - 位置:《SRE:Google运维解密》第25章《数据处理流水线》(源文件:`_epub-src/OEBPS/Text/0009_0016.xhtml`) - 结论依据:原文描述周期流水线的惊群效应、重试与人工加进程的放大作用,并定义摩尔负载模式及其在叠加图中的表现。 - 原始内容:该问题是指两个或者更多的流水线任务同时运行时,某些执行过程重叠,导致它们同时消耗某个共享资源。