知识卡片

普通读书笔记卡 · 1576.a

告警策略的四个衡量维度

理解等级:中级

目标:在重大事件消耗大量错误预算之前通知到人。评估告警策略看四个属性: - 精确率:触发的告警中真正对应重大事件的比例(中文译文把精确率误写成“检测到的重大事件的比例”,与召回率相同,按官方英文校正); - 召回率:重大事件中被告警检测到的比例; - 检测时间:发出通知要多久,越长对预算越不利; - 重置时间:问题解决后告警还会持续多久,太长会造成混乱或让人忽视问题。 (这里的“错误预算/错误率”适用于所有 SLI,不只是名字里带“错误”的。)

三种不可行的尝试(以 30 天 99.9% SLO 为例): 1. 短窗口错误率 ≥ SLO(如 10 分钟错误率 ≥ 0.1% 就告警):检测快(完全中断 0.6 秒)、召回好;但精确率低——10 分钟 0.1% 的错误只消耗月预算的 0.02%,一天可能收到 144 条告警而仍然达标; 2. 加大窗口(36 小时,对应消耗 5% 月预算才通知):精确率提升、完全中断约 2 分 10 秒检测到;但重置时间很差——完全中断后告警会持续 36 小时,长窗口计算也昂贵; 3. 加持续时间条件(1 分钟错误率持续 1 小时超标才告警):看似便宜地拉长窗口,但持续时间不随严重程度缩放——100% 中断也要一小时后才告警(已消耗该小时 30 天预算的 140%),与 0.2% 中断一样慢;指标一回落计时器就重置,在达标和超标之间波动的 SLI 可能永远不告警——例如每 10 分钟出现 5 分钟 100% 错误峰值,每次都消耗约 12% 月预算,告警却从不触发。不建议把持续时间作为 SLO 告警条件。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第05章《第5章 基于SLO发出警报》5 注意事项;1 目标错误率≥SLO阈值;2 警报窗口增加;3 递增警报持续时间(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/10.html,来源项目 book-sources) - 结论依据:第5章说明评估告警策略的精确率、召回率、检测时间、重置时间(按官方英文校正精确率定义),并分析短窗口错误率、加大窗口、加持续时间三种方法的缺陷:精确率低、重置时间长、召回差且可能永不告警。 - 原始内容:由于表5-3中列出的原因,我们不建议将持续时间用作基于SLO的警报条件的一部分。