知识卡片
用GQM在用户之前发现故障
系统:依赖若干有 API 速率限制的第三方服务,用异步工作队列确保数据最终被处理并管控请求量。关键的第三方“Foo 服务”在许可协议中规定了每小时和每日速率上限,以及请求大小和总计算负载上限;超限后返回“超过速率限制”并持续拒绝,直到速率回落到阈值以下。队列设计有韧性,某些失败可重试;只要队列和工作实例运行,系统最终会自我校正到一致状态——这一点很重要,因为 Foo 很容易超限,但限制很快会重置。
事件 1:周一凌晨 Foo 开始因超限拒绝请求;速率限制是整个系统的共享预算,多个组件同时受影响,几小时内作业在队列中等待时间剧增,用户受到影响。原因:每个周末大量数据上传到 Foo,存储方案的故障加上批处理的故障,导致批处理大量重试 API 请求。停掉失控的批处理后系统慢慢恢复。事后分析中,修复批处理显然要做,但团队还问:能否更早发现与 Foo 通信的问题、在用户受影响前修复?于是用 GQM,目标是“尽早发现涉及 Foo 的问题,在影响用户前缓解或解决”,用一份共享文档约半小时头脑风暴问题和指标。
数据收集暴露了三个架构缺陷: 1. 只有在负载重时才记录数据——没流量就没有发往 Foo 的请求,无法知道它是否正常。对策:引入心跳组件,借助 Foo 提供的计量 API 检查可用性和当前 API 用量,也便于管理总 API 预算; 2. 处理失败和重试的责任没有明确分配——一些作业自己重试,运行更久、失败后重新入队,加剧拥塞;最糟时一个作业对 Foo 失败尝试 5 次、永久失败前又重试 10 次,共 50 个 API 请求。对策:把处理故障的责任交给工作队列,作业快速失败,并写了 ADR; 3. 不确定如何应对——为每个指标加自动告警并写运行手册(引用指标以便诊断、排除误报),增加诊断 API 和恢复工具。
事件 2(9 个月后):周五凌晨 Foo 的开发者部署配置变更导致其完全不可用 14 小时。团队在 Foo 全局不可用的 10 分钟内收到基于既定指标的告警,用诊断 API 确认问题在 Foo、不在自己掌控之内,关掉部分告警,按 ADR 监控确认失败作业以指数回退重试。工作日开始后、用户注意到之前,就给内部用户发了通知;Foo 恢复后系统按设计自我修正。曾经的零级事故几乎不值一提。
反思:许多事后分析会暴露运行可视化和响应策略的弱点;GQM 不仅能突出这些弱点,还能指出通往更好系统的路径——具体考虑指标及其所需数据,本身就暴露了架构缺陷。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 用目标-问题-指标法度量未知 · 查看原书依据
在最糟糕的情况下,一些作业对Foo服务进行了5次失败的尝试,并且在永久失败之前重试了10次,导致总共有50个API请求!