← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 5281.b

连锁故障的常见触发点

理解等级:中级

连锁故障的触发不只来自显式变更,也可能来自负载或可用资源的变化。排查时逐项核对:

  • 进程崩溃:少数任务收到致死请求,剩余任务承接负载。
  • 大批更新:同时下线过多任务;应按容量控制并发更新数,或在非峰值推送。
  • 新版本、配置或架构:请求特征和资源用量变化,先查最近变更并考虑回滚。
  • 自然增长:用量增加而容量未跟上。
  • 集群或依赖不可用:可用容量突然下降。
  • 请求特征变化:例如单次处理的数据量随时间增大。
  • 备用 CPU 消失:超出预留份额的空闲资源随时可能被其他任务占走,不能当安全余量。

发散:“什么都没改”也要检查增长与资源假设。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第22章 处理连锁故障 · 查看原书依据

      这种备用CPU资源在集群和集群机器之间都不一样。 依赖这些备用资源作为你的安全防护网是很危险的。这些备用资源的可用性完全取决于集群中其他任务的行为,所以可能随时消失。例如,如果一个团队启动了一个MapReduce任务,在很多机器上使用了很多CPU,那么总共的备用CPU资源就可能突然减少,导致无关任务的CPU资源不够。当进行压力测试时,应确保服务一直停留在预留的资源限制中, 连锁故障的测试 从理论上预测服务会以什么方式进入故障状态是很困难的。

    参考来源

    - 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`) - 结论依据:原文列举进程崩溃、进程更新、新发布、自然增长、不可用、请求特征变化与资源超卖等连锁故障触发条件及应对。 - 原始内容:依赖这些备用资源作为你的安全防护网是很危险的。这些备用资源的可用性完全取决于集群中其他任务的行为,所以可能随时消失。