知识卡片
每日报警中值应接近零
一起紧急事件指根本原因一致或相关、应在同一份事后报告里讨论的一组事件和报警。处理一起事件,包括根源分析、处置和事后总结,平均至少要 6 小时,所以每 12 小时轮值最多只能容纳两起。要守住这个上限,报警的每日发生次数中值应接近 0:如果某个组件几乎每班都报警,使每日中值大于 1,迟早会和另一个组件的报警撞在同一天,总数就超标了。发散:组件报警预算要留叠加余量。参见[[每班最多处理两个紧急事件]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 on-call轮值 · 查看原书依据
我们对一个紧急事件(incident)的定义是,一系列根本原因一致或者相关的事件和报警信息,这些事件应该在同一个事后报告中讨论。我们发现,平均下来,处理任何一个生产环境事件,包括事件根源分析、事件处理,以及事后总结等,至少需要6个小时。因此,我们认为,每12个小时的轮值周期最多只能产生两个紧急事件。为了维持在这个范围内,报警事件的每日发生概率应该很低,中值保持在0左右。如果某个组件几乎每次轮值都会报警,导致每日紧急事件中值>1,那么早晚另外一个组件也会同时报警,导致当天总报警次数超标。 如果在某个季度中,某个团队持续不断地超过这个指标,那么管理团队必须采取一些修正措施保证运维压力下降到可持续水平,具体可参见本章后面的“运维压力过大”一节,以及第30章)。
参考来源
- 位置:《SRE:Google运维解密》第11章《on-call轮值》(源文件:`_epub-src/OEBPS/Text/0009_0002.xhtml`)
- 结论依据:原文定义紧急事件,给出处理一起事件至少 6 小时的经验数据,由此推出每 12 小时最多两起,并论证每日报警中值应保持在 0 左右。
- 原始内容:我们发现,平均下来,处理任何一个生产环境事件,包括事件根源分析、事件处理,以及事后总结等,至少需要6个小时。因此,我们认为,每12个小时的轮值周期最多只能产生两个紧急事件。为了维持在这个范围内,报警事件的每日发生概率应该很低,中值保持在0左右。