知识卡片
连锁故障的应急手段
连锁故障中要先识别触发条件,再选择能打断当前反馈回路的措施。以下是按前提选择的手段,不是必须依次执行的流程:
- 加资源或任务:有空闲资源时可用;进入死亡螺旋后可能仍不足。
- 暂停造成误杀的健康检查:先区分进程与服务健康;避免初始化任务和过载任务被反复杀掉。
- 重启卡住的任务:适用于 GC 螺旋、无截止时间的请求或死锁等情况;先找源头,冷缓存可能让重启更糟。
- 丢弃流量:先修复或掩盖触发条件,再降到崩溃停止,必要时只保留 1%;多数任务恢复后逐步加回。
- 降级:减少每个请求的工作量。
- 停批处理:释放被后台工作占用的资源。
- 屏蔽致死请求:防止同类输入再次打垮任务。
边界:若全局容量紧缺等底层问题仍在,恢复流量后可能再次触发连锁故障。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第22章 处理连锁故障 · 查看原书依据
如果可以使用某种手段丢弃不重要的流量(例如预获取操作的流量),一定要先采用这种手段。 最重要的是,这个策略只有在底层问题已经修复的情况下才能恢复服务。如果触发这个连锁故障的问题没有修复(如,全局容量的紧缺),那么连锁故障可能在流量级别恢复之后再次发生。因此,在使用这个策略之前,应该先考虑修复(或者掩盖住)根源原因或者是触发条件。例如,如果一个服务内存不足,而进入了死亡螺旋,增加内存或者任务数量应该是首先要做的。
参考来源
- 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`)
- 结论依据:原文列出增加资源、停止健康检查、重启、丢弃流量、降级、消除批处理与有害流量等立即步骤及各自前提。
- 原始内容:最重要的是,这个策略只有在底层问题已经修复的情况下才能恢复服务。如果触发这个连锁故障的问题没有修复(如,全局容量的紧缺),那么连锁故障可能在流量级别恢复之后再次发生。