知识卡片

过度可靠会制造危险的安全假象

普通读书笔记卡 · 1566

内容

当一个基础设施的实际可用性长期远超其承诺的 SLO 时,其他团队会逐渐把它当作”绝对不会挂”来依赖, 形成对它零容错的隐性强依赖——一旦它真的故障,连带影响会远超预期。Google 全球 Chubby 服务用 一个反直觉的办法应对:SRE 每季度主动安排一次可控停机,把实际可用性拉回 SLO 承诺水平,逼迫过度 依赖它的团队尽早暴露并修复自己的脆弱假设。参见[[内外SLO之间留缓冲区]]。

参考来源

- 位置:《SRE:Google运维解密》第4章《服务质量目标》"全球Chubby服务计划内停机"案例(源文件:_epub-src/OEBPS/Text/0008_0002.xhtml) - 结论依据:原文案例明确指出"Chubby全球服务的高可靠性实际上提供了一种安全假象",并说明解决办法是每季度在真实故障未触及 SLO 下限时主动安排一次可控停机。 - 原始内容:"全球实例出现问题经常会导致其他服务出现故障……以至于其他服务负责人开始认为全球Chubby服务永远不会出故障,从而不停地将更多的服务依赖于此。Chubby全球服务的高可靠性实际上提供了一种安全假象……每个季度,如果真实故障没有将可用性指标降低到SLO之下,SRE会有意安排一次可控的故障,将服务停机。"