知识卡片
主动故障测试揭示隐藏依赖
Google 经常故意破坏系统、模拟事故,再针对暴露的失败模式加固。一次测试只屏蔽一百多个数据库中的一个测试库,几分钟后大批关键业务时通时断:数据库连接库没正确处理某个库失去响应的情况,导致整体不可用。测试事前经过充分评审,事实证明对相关系统了解不够。事后修复了类库并设周期性测试,大型测试前还要求先测回滚。发散:宁可在受控测试中出事。参见[[主动想象极端场景来测试韧性]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 紧急事件响应 · 查看原书依据
下面是一个具体的例子,在这次测试中,我们发现了一系列意外的系统依赖。 细节 我们想要找到依赖我们大型分布式MySQL集群中的一个测试数据库。测试计划是通过限制访问权限来屏蔽一百多个数据库中的一个。没有任何一个人能想到接下来发生的事。 响应 测试开始的仅仅几分钟后,大批服务汇报公司内部和外部用户都无法访问某个关键业务系统。这些关键系统业务时通时断,或者只是部分可用。
参考来源
- 位置:《SRE:Google运维解密》第13章《紧急事件响应》(源文件:`_epub-src/OEBPS/Text/0009_0004.xhtml`)
- 结论依据:原文描述屏蔽单个测试数据库引发大范围故障的案例,总结评审不足以发现依赖,并记录修复类库、周期测试与先测回滚的改进。
- 原始内容:我们想要找到依赖我们大型分布式MySQL集群中的一个测试数据库。测试计划是通过限制访问权限来屏蔽一百多个数据库中的一个。没有任何一个人能想到接下来发生的事。