知识卡片
大规模下不为单机报警
在 Google 这样的规模下,为任何一台机器的问题报警都没有意义:发生得太频繁,也无法采取行动。正确做法是把系统设计成能承受所依赖组件的故障,让监控自动汇总所有信息、自动抛弃个别异常,主要按高层服务质量目标报警,同时保留足够粒度,需要时能追到具体组件。发散:报警的粒度应与“需要人做决定”的粒度一致。参见[[好警报的四个必要条件]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
这类更高级的抽象指标可以帮助我们寻找导致延迟长尾效应的问题所在。 在我们这种系统部署规模下,任何一个单机问题的报警都没有任何意义,因为这样的报警发生的次数太频繁,没有任何可操作性。我们采用的是另外一套方法:设计我们运维的系统使其能够更好地应对所依赖系统的故障。一个大型系统不应该要求运维人员持续关注其中使用的无数个小组件,而是应该自动汇总所有的信息,自动抛弃其中的异常情况。
参考来源
- 位置:《SRE:Google运维解密》第10章《基于时间序列数据进行有效报警》(源文件:`_epub-src/OEBPS/Text/0009_0001.xhtml`)
- 结论依据:原文指出大规模下单机报警频繁且不可操作,主张系统自动汇总、抛弃异常,从服务质量目标层面报警并保留可追溯粒度。
- 原始内容:在我们这种系统部署规模下,任何一个单机问题的报警都没有任何意义,因为这样的报警发生的次数太频繁,没有任何可操作性……监控系统应该主要从高级服务质量目标层面进行报警,但是也应该保持足够的粒度,可以追踪到某个具体组件。