知识卡片
连锁故障源于正反馈
连锁故障是正反馈循环造成的、规模不断扩大的故障,最常见的起点是服务器过载:集群 B 故障后,原本 1000 QPS 的集群 A 收到 1200 QPS,资源不足而崩溃或超时,实际成功处理的反而远低于 1000;负载均衡器再把流量转给其他集群,几分钟内就可能演变成全球故障。会自动避开报错后端的负载均衡还会加剧它。发散:自动化反应越快,雪崩也越快。参见[[崩溃后降负载到远低于崩溃点才能恢复]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第22章 处理连锁故障 · 查看原书依据
——Dan Sandler,Google软件工程师 为什么人们总是忘记增加一点点抖动因素呢? ——Ade Oshineye,Google 开发者布道师 连锁故障是由于正反馈循环(positive feedback)导致的不断扩大规模的故障。[72]连锁故障可能由于整个系统的一小部分出现故障而引发,进而导致系统其他部分也出现故障。例如,某个服务的一个实例由于过载出现故障,导致其他实例负载升高,从而导致这些实例像多米诺骨牌一样一个一个全部出现故障。 本章会通篇使用前文提到的莎士比亚搜索服务(见第2章)作为例子。
参考来源
- 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`)
- 结论依据:原文定义连锁故障,用集群 A/B 的例子说明过载如何扩散,并指出避开错误后端的负载均衡会放大滚雪球效应。
- 原始内容:连锁故障是由于正反馈循环(positive feedback)导致的不断扩大规模的故障。[72]连锁故障可能由于整个系统的一小部分出现故障而引发,进而导致系统其他部分也出现故障。