知识卡片
连锁故障的常见触发点
连锁故障的触发不只来自显式变更,也可能来自负载或可用资源的变化。排查时逐项核对:
- 进程崩溃:少数任务收到致死请求,剩余任务承接负载。
- 大批更新:同时下线过多任务;应按容量控制并发更新数,或在非峰值推送。
- 新版本、配置或架构:请求特征和资源用量变化,先查最近变更并考虑回滚。
- 自然增长:用量增加而容量未跟上。
- 集群或依赖不可用:可用容量突然下降。
- 请求特征变化:例如单次处理的数据量随时间增大。
- 备用 CPU 消失:超出预留份额的空闲资源随时可能被其他任务占走,不能当安全余量。
发散:“什么都没改”也要检查增长与资源假设。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第22章 处理连锁故障 · 查看原书依据
这种备用CPU资源在集群和集群机器之间都不一样。 依赖这些备用资源作为你的安全防护网是很危险的。这些备用资源的可用性完全取决于集群中其他任务的行为,所以可能随时消失。例如,如果一个团队启动了一个MapReduce任务,在很多机器上使用了很多CPU,那么总共的备用CPU资源就可能突然减少,导致无关任务的CPU资源不够。当进行压力测试时,应确保服务一直停留在预留的资源限制中, 连锁故障的测试 从理论上预测服务会以什么方式进入故障状态是很困难的。
参考来源
- 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`)
- 结论依据:原文列举进程崩溃、进程更新、新发布、自然增长、不可用、请求特征变化与资源超卖等连锁故障触发条件及应对。
- 原始内容:依赖这些备用资源作为你的安全防护网是很危险的。这些备用资源的可用性完全取决于集群中其他任务的行为,所以可能随时消失。