知识卡片
先止血再溯源
内容
遇到大范围故障,本能反应是立刻扎进日志找根因,这是错的:第一优先级应是尽最大可能让系统恢复 服务——切走流量、丢弃部分请求防止连锁过载、关闭部分功能降负载,止血比溯源更紧迫,因为根因 未明之前用户始终得不到服务。飞行员培训中同理:紧急情况下让飞机保持飞行永远优先于弄清故障 原因。若某Bug可能导致不可恢复的数据损坏,宁可先停机也不要让系统带病运行。
参考来源
- 位置:《SRE:Google运维解密》第12章《有效的故障排查手段》(源文件:_epub-src/OEBPS/Text/0009_0003.xhtml)
- 结论依据:原文明确指出大型问题下第一反应是"立即开始故障排查"是错误的,正确做法是先让系统恢复服务,并类比飞行员培训中"保持飞机飞行"优先于排除故障。
- 原始内容:在大型问题中,你的第一反应可能是立即开始故障排查过程,试图尽快找到问题根源。这是错误的!不要这样做。正确的做法应该是:尽最大可能让系统恢复服务……在初级飞行员的课程中讲到,在紧急情况中,飞行员的首要任务是保持飞机飞行……如果一个Bug有可能导致不可恢复的数据损坏,停止整个系统要比让系统继续运行更好。