知识卡片
低流量与极端目标的告警
低流量的难题:每小时只有 10 个请求时,一个失败请求就是 10% 错误率——对 99.9% SLO 是 1000 倍消耗率,消耗 30 天预算的 13.9%,立刻呼叫;30 天内只允许七次失败,而单个请求可能因各种短暂、无趣的原因失败。先问:单个失败请求的影响是什么?若是一次性、不重试的高价值请求,高可用目标可能合适,但那时告警来得太晚了。
处理办法(实践中组合使用): - 人工流量:合成用户活动,补足信号,复用现有监控和 SLO(黑盒探针、集成测试可能已具备)。缺点:复杂服务只能合成一小部分请求类型,有状态服务更难;若问题只影响真实用户,成功的人工请求还会掩盖真实信号; - 合并服务:把同属一个产品、或由同一二进制处理的多个低流量服务合并成组监控,检测更准、误报更少;缺点是单个服务完全故障可能不算重大事件——选共享故障域(如共同后端数据库)的服务合并,并保留长窗口告警最终捕获单个服务的 100% 故障; - 改服务和基础设施:客户端用指数退避加抖动重试;设置能最终执行请求的后备路径——减少单次失败对用户的影响; - 降低 SLO 或加大窗口:少量错误真需要立刻派人吗?若不需要,用户对较低的 SLO 同样满意(如 99.9% → 99%)。但这是产品决策,会影响对系统行为的预期和政策执行时机。
极端目标: - 90% 目标:100% 中断一小时只消耗该小时预算的 1.4%,“1 小时 2%”的规则永远不会触发,需调整参数; - 99.999% 目标:100% 中断 26 秒就耗尽月预算,比许多监控的采集间隔还短,更别说告警送达。唯一的办法是设计系统使 100% 中断极不可能——如变更先推给 1% 用户,消耗速率随之降为 1%,就有 43 分钟来应对(见第16章金丝雀)。
大规模告警:不要为每个服务单独定窗口和消耗率参数——100 个微服务很快就不堪重负。确定参数后统一应用;把请求类型分进少数几个桶:CRITICAL(如登录,99.99%、P90 100 ms、P99 200 ms)、HIGH_FAST(核心交互,99.9%、100/200 ms)、HIGH_SLOW(重要但不敏感于延迟,如生成多年报表,99.9%、1000/5000 ms)、LOW(如轮询通知,99%)、NO_SLO(暗发布、alpha 功能)。足以保护用户满意度,琐事却少得多。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 基于SLO发出警报 · 查看原书依据
在这种情况下,我们强烈建议您不要为每个服务分别指定警报窗口和消耗速率参数,因为这样做很快就会变得不堪重负。