知识卡片
先猜后压摧毁练习集群
最好的经验来自亲手破坏和修复系统,应在上 on-call 前就引入。可以切走一个数据中心实例专门练习,或搭一个注入模拟流量的 QA 实例,在低风险环境里让新人找出差异并修复。搜索团队每季度“一起摧毁一个搜索集群”:先讨论哪些性能特征会受影响,再让每人写下预测和理由,然后逐步把某组件压向瓶颈,验证并解释现象,常发现系统并不像想象中优雅降级。发散:先猜后验,才能校准直觉。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第28章 迅速培养SRE加入on-call · 查看原书依据
有的时候,让某个资深SRE精心构造一个具体故障场景比较耗时,可以从另外一个角度来进行:从一个正常状态出发,慢慢将环境中某个组件逼近瓶颈,通过监控系统观察对上下游系统的影响。Google搜素团队非常重视这项活动,将其称为:“一起来摧毁一个搜索集群!”如下所示: 1.作为一个团队,我们讨论哪些性能特点可能会在过程中受到影响。 2.在实际操作之前,我们进行一次调查,让所有参与的人都提出一个针对系统行为变化的假想和背后的逻辑。 3.具体执行操作,验证之前的假设,并且从逻辑上说明为什么系统会出现这样的现象。
参考来源
- 位置:《SRE:Google运维解密》第28章《迅速培养SRE加入on-call》(源文件:`_epub-src/OEBPS/Text/0010_0001.xhtml`)
- 结论依据:原文说明动手破坏与修复的价值、构建逼真练习环境的方法,以及“摧毁搜索集群”活动的三个步骤与收获。
- 原始内容:这个团体活动,每个季度会进行一次,有助于在生产环境中发现亟待解决的新Bug—系统并不会像我们想象的那样优雅降级。