知识卡片
事故与报警比例应接近1:1
内容
报警系统是否健康,一个可量化的信号是”事件/报警”比例是否接近1:1。若一次异常在多个层面被同时 检测到,会触发一大堆报警,值班人员需先做报警去重和归因才能着手真正的问题,这本身消耗宝贵 注意力。修复思路不是让人在事故现场临时压制重复报警,而是从规则源头做合并,使一次真实故障 只产生一条聚合通知,把比例调回接近1:1。
参考来源
- 位置:《SRE:Google运维解密》第11章《on-call轮值》(源文件:_epub-src/OEBPS/Text/0009_0002.xhtml)
- 结论依据:原文明确提出报警规则若经常产生重复报警,应调整为"事件/报警比例接近1:1",把根源修复而非现场压制作为解决方式。
- 原始内容:有的时候,一个异常情况可能会触发多条报警,所以合理地分组汇总报警信息是很重要的……如果某条报警规则经常产生重复报警,那么需要修改报警规则,将其调整为事件/报警比例接近1:1。这样,在问题真正发生时,工程师可以专注于解决问题,而不是重复地处理报警。