知识卡片
排障工具不能依赖故障系统
Google 大量使用自研工具,大部分在线调试和内部沟通工具恰好依赖那次进入崩溃循环的任务。如果故障没能很快解决,在线调试能力会大受影响,形成“系统坏了,修它的工具也坏了”的局面。同一次事故里,监控对全球每个节点不停重复报警,充斥了正常和紧急的沟通渠道,反而干扰了值班和沟通。发散:盘点排障链路上的工具依赖,确认核心服务宕机时它们仍可用。参见[[带外通道须可靠且常演练]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 紧急事件响应 · 查看原书依据
这严重干扰了on-call工程师的工作,同时让在这次事故的参与者们沟通起来更困难了。 Google 大量使用自研工具。我们大部分的在线调试与内部沟通工具都依赖这次进入崩溃循环的任务。如果这次的故障没能很快解决的话,我们的在线调试能力将受到极大的影响。 流程导致的严重事故 我们在机器管理自动化上投入了大量的时间和精力,以使我们能很轻松地在整个集群里运行、停止和重新配置大量任务。但是当意外来临时,自动化的效率有时可能是很可怕的。
参考来源
- 位置:《SRE:Google运维解密》第13章《紧急事件响应》(源文件:`_epub-src/OEBPS/Text/0009_0004.xhtml`)
- 结论依据:原文指出调试与沟通工具依赖崩溃的任务、若故障持续将严重影响调试能力,并记录监控重复报警干扰了值班与沟通。
- 原始内容:Google 大量使用自研工具。我们大部分的在线调试与内部沟通工具都依赖这次进入崩溃循环的任务。如果这次的故障没能很快解决的话,我们的在线调试能力将受到极大的影响。