← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1576.a.2

低流量与极端目标的告警

理解等级:高级

低流量的难题:每小时只有 10 个请求时,一个失败请求就是 10% 错误率——对 99.9% SLO 是 1000 倍消耗率,消耗 30 天预算的 13.9%,立刻呼叫;30 天内只允许七次失败,而单个请求可能因各种短暂、无趣的原因失败。先问:单个失败请求的影响是什么?若是一次性、不重试的高价值请求,高可用目标可能合适,但那时告警来得太晚了。

处理办法(实践中组合使用): - 人工流量:合成用户活动,补足信号,复用现有监控和 SLO(黑盒探针、集成测试可能已具备)。缺点:复杂服务只能合成一小部分请求类型,有状态服务更难;若问题只影响真实用户,成功的人工请求还会掩盖真实信号; - 合并服务:把同属一个产品、或由同一二进制处理的多个低流量服务合并成组监控,检测更准、误报更少;缺点是单个服务完全故障可能不算重大事件——选共享故障域(如共同后端数据库)的服务合并,并保留长窗口告警最终捕获单个服务的 100% 故障; - 改服务和基础设施:客户端用指数退避加抖动重试;设置能最终执行请求的后备路径——减少单次失败对用户的影响; - 降低 SLO 或加大窗口:少量错误真需要立刻派人吗?若不需要,用户对较低的 SLO 同样满意(如 99.9% → 99%)。但这是产品决策,会影响对系统行为的预期和政策执行时机。

极端目标: - 90% 目标:100% 中断一小时只消耗该小时预算的 1.4%,“1 小时 2%”的规则永远不会触发,需调整参数; - 99.999% 目标:100% 中断 26 秒就耗尽月预算,比许多监控的采集间隔还短,更别说告警送达。唯一的办法是设计系统使 100% 中断极不可能——如变更先推给 1% 用户,消耗速率随之降为 1%,就有 43 分钟来应对(见第16章金丝雀)。

大规模告警:不要为每个服务单独定窗口和消耗率参数——100 个微服务很快就不堪重负。确定参数后统一应用;把请求类型分进少数几个桶:CRITICAL(如登录,99.99%、P90 100 ms、P99 200 ms)、HIGH_FAST(核心交互,99.9%、100/200 ms)、HIGH_SLOW(重要但不敏感于延迟,如生成多年报表,99.9%、1000/5000 ms)、LOW(如轮询通知,99%)、NO_SLO(暗发布、alpha 功能)。足以保护用户满意度,琐事却少得多。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第05章《第5章 基于SLO发出警报》5 低流量服务和错误预算警报;极端可用性目标;大范围报警(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/10.html,来源项目 book-sources) - 结论依据:第5章说明低流量服务中单次失败即触发大比例消耗的问题,给出人工流量、合并服务、客户端退避重试与后备路径、降低SLO或加大窗口四类办法及其代价,分析90%与99.999%极端目标下告警失效需改设计,并建议大规模时统一参数、把请求分入五个可用性桶。 - 原始内容:在这种情况下,我们强烈建议您不要为每个服务分别指定警报窗口和消耗速率参数,因为这样做很快就会变得不堪重负。