知识卡片
主动想象极端场景来测试韧性
内容
真正检验一个系统的应变能力不能靠纸面推演,而要主动提出看似夸张的极端问题:整栋大楼断电了怎么办?主数据中心突然下线了怎么办?同事能不能独立处理同样场景?理论和实践是两个领域——系统真正失败前,你永远不知道它、依赖它的系统、以及用户会如何反应。与其祈祷故障不要在深夜、核心团队缺席时发生,不如主动选关注度最高的时候把极端场景演练一遍。发散:用可控小代价换取不可控大代价,值得用在任何后果严重的领域。
参考来源
- 位置:《SRE:Google运维解密》第13章《紧急事件响应》(源文件:_epub-src/OEBPS/Text/0009_0004.xhtml)
- 结论依据:"鼓励主动测试"一节明确提出应主动设想大楼断电、数据中心下线等极端问题,并强调理论和实践是两个不同领域,只有系统真正失败才能知道其反应,同时提出应在条件最好而非最坏的时刻主动测试。
- 原始内容:提出那些大的,甚至不可能的问题:假如……没有什么比现实更真实的测试了。……假如整栋大楼的电源坏了怎么办?……如果主数据中心突然下线了怎么办?……坐在你旁边的人能做到同样的事吗?……你是希望这个系统在星期六凌晨两点钟……出现故障,还是希望和最可靠和最聪明的同事在一起仔细监控着它们上周详细评审过的测试时出现故障呢?