返回主题:告警与 SLO

知识卡片

普通读书笔记卡 · 5236

报警要设持续时间并合并

理解等级:中级

报警规则常在真假之间快速切换,所以每条规则都设最小持续时间,至少两个计算周期,偶尔一次收集失败不会立即报警;例如错误比率超 1% 且错误速率超 1 次/秒,先进入等待状态,持续 2 分钟才触发。报警再交给统一的报警管理服务:其他报警触发时抑制某些报警,合并多个监控实例发来的重复报警,按标签展开或聚合,再按严重程度送往值班、工单或仪表盘。发散:抖动和重复是噪声的两大来源。参见[[事故与报警比例应接近1:1]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 基于时间序列数据进行有效报警 · 查看原书依据

      如果结果为真,那么产生一条报警。经验证明,报警规则经常反复变动(flap,快速切换状态)。因此,每条报警规则都指定了一个最小持续时间值。只有当警报持续时间超过这个值的时候,才会发送警报。一般来说,这个周期至少被设置为两个计算周期,以确保偶尔一次的信息收集失败不会立刻触发报警。 下面这条报警规是在10分钟内错误速率比率超过1%的时候,同时整体错误速率超过1(这里的单位为1/s,rate函数的结果都是以秒为单位)的时候触发一条报警信息: 我们之前的例子的计算结果为0.15,已经超过了这里的阈值0.01。

    参考来源

    - 位置:《SRE:Google运维解密》第10章《基于时间序列数据进行有效报警》(源文件:`_epub-src/OEBPS/Text/0009_0001.xhtml`) - 结论依据:原文说明报警规则需设最小持续时间以避免状态反复变动,给出等待两分钟才触发的示例,并列出报警管理服务的抑制、去重与合并功能。 - 原始内容:经验证明,报警规则经常反复变动(flap,快速切换状态)。因此,每条报警规则都指定了一个最小持续时间值。只有当警报持续时间超过这个值的时候,才会发送警报。