知识卡片
先止血再溯源
遇到大范围故障,本能反应是立刻扎进日志找根因,这是错的:第一优先级应是尽最大可能让系统恢复 服务——切走流量、丢弃部分请求防止连锁过载、关闭部分功能降负载,止血比溯源更紧迫,因为根因 未明之前用户始终得不到服务。飞行员培训中同理:紧急情况下让飞机保持飞行永远优先于弄清故障 原因。若某Bug可能导致不可恢复的数据损坏,宁可先停机也不要让系统带病运行。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 有效的故障排查手段 · 查看原书依据
合理判定一个问题的严重程度需要良好的工程师判断力,同时,也需要一定程度的冷静。 在大型问题中,你的第一反应可能是立即开始故障排查过程,试图尽快找到问题根源。这是错误的!不要这样做。 正确的做法应该是:尽最大可能让系统恢复服务。这可能需要一些应急措施,比如,将用户流量从问题集群导向其他还在正常工作的集群,或者将流量彻底抛弃以避免连锁过载问题,或者关闭系统的某些功能以降低负载。缓解系统问题应该是你的第一要务。
参考来源
- 位置:《SRE:Google运维解密》第12章《有效的故障排查手段》(源文件:_epub-src/OEBPS/Text/0009_0003.xhtml)
- 结论依据:原文明确指出大型问题下第一反应是"立即开始故障排查"是错误的,正确做法是先让系统恢复服务,并类比飞行员培训中"保持飞机飞行"优先于排除故障。
- 原始内容:在大型问题中,你的第一反应可能是立即开始故障排查过程,试图尽快找到问题根源。这是错误的!不要这样做。正确的做法应该是:尽最大可能让系统恢复服务……在初级飞行员的课程中讲到,在紧急情况中,飞行员的首要任务是保持飞机飞行……如果一个Bug有可能导致不可恢复的数据损坏,停止整个系统要比让系统继续运行更好。