知识卡片
通用缓解优先于查明根因
经过:某周四 6:41,伦敦的 GKE SRE Zara 收到多个区域 CreateCluster 探针失败的呼叫——欧洲两个区域失败率超过 60%,新集群无法创建,已有集群不受影响。她按流程在 7:06 宣布事件,默认担任 IC,拉来两名队友和苏黎世的客服工程师 Rohit(7:24 向用户发布通知)。日志显示 Kubelet 无法创建证书签名请求,但网络、资源、证书签名过程单独看都正常。8:22 发布调查摘要找开发;值班开发 Victoria 建议升级到基础设施团队。8:45 西雅图资深 SRE Il-Seong 到岗:先排除当天发布,开协作文档记录笔记,建议升级到基础设施、云网络、计算引擎团队;到 9:10 频道里有十几人,事件已持续 2.5 小时,沟通成为挑战。Zara 提前把 IC 交给更有 IMAG 经验的 Il-Seong,他建立正式结构:Zara 任运维负责人,Herais 任沟通负责人(向开发负责人邮件列表发“紧急集合”),Rohit 负责对外沟通。安全团队的 Puanani 发现证书签名器拉取 DockerHub 上的镜像损坏——欧洲集群拉取失败、美国成功,9:56 确定可能的根因。两条缓解路线并行:请 Docker 修复;或重建二进制改从 GCR 拉取(构建约一小时,10:59 完成 90% 时又发现另一处错误路径,只得重来)。SRE Tugay 想到拦截 Docker 拉取、改用 GCR 镜像缓存(--registry-mirror=https://mirror.gcr.io),结果发现镜像站点早已在用;11:59 GCR 值班从欧洲存储层清除了损坏的缓存镜像,12:11 错误率降为 0。欧洲 CreateCluster 失败 6 小时 40 分钟;IRC 有 41 人、日志 2.6 万字;先后组建 7 个工作小组、最多 4 个并行;事后总结有 28 个行动项。
做得好的:有记录在案的升级路径,Zara 迅速确认用户受影响并用现成的事件系统拉来客服对外沟通。
可改进的:服务复杂、依赖专家,日志不足以诊断,团队还被 DockerHub 的损坏(并非真正问题——真正问题在 GCR 缓存)分散注意力;IC 一开始没有建立正式结构、没有主动协调,少数人各自调查,首次呼叫两小时后才建立结构;最大缺口是缺少通用缓解手段。
通用缓解:在完全理解根因之前就能止血的粗粒度措施,如回滚最近发布、重配负载均衡避开出错区域、引流。它们是钝器,可能有更广影响,但能在找根因的同时快速部署。本例若在 9:56 找到问题大致位置后把所有镜像回滚到已知良好状态,10 点前即可缓解——要缓解,不必知道全部细节,只需知道根因的位置。缓解工具要在事件之前构建;浏览事后总结是发现所需工具的好方法。客户不在乎你是否完全理解原因,他们只想不再出错。
优先顺序:评估影响 → 缓解影响 → 根因分析 → 事后修复原因并写事后总结 → 用演练检验漏洞。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第9章 事件响应
原书出处 · 1 处
- 第9章 事件响应 · 查看原书依据
要缓解事件,您不必完全了解详细信息-仅需要知道根本原因的位置。