知识卡片

待命值班的根本解法是修复系统而非无休止救火

专业/工作 · 1214.g

内容

如果一天收到几十条告警且每条都合理(不是误报),这本身说明系统处在持续救火状态,而监控不会修复任何东西——只有人去投入精力改善底层系统的弹性和稳定性,令人印象深刻的故障才会真正减少,这呼应了[[监控是拐杖不能替代修复系统本身]]。落地方法有两种:一是让待命值班人员在没有实际救火任务时,把提升系统弹性作为默认职责;二是把上一周待命值班中收集到的问题,正式转化为下一轮迭代计划中的具体改进项,而不是让这些教训随值班交接一起被遗忘。发散:待命值班数据本质上是系统脆弱点的免费探测器,如果不建立机制把它转化为工程改进,就是在浪费这些用痛苦换来的信息。

参考来源

《监控运维实践 原则与策略-2021》第3章《告警、待命值班以及事件管理》