知识卡片
呼叫负载的三类输入
呼叫负载:值班工程师在一个班次(每天或每周)收到的呼叫事件数,一个事件可能有多次呼叫。
先审视响应时间:不是每件事都要几分钟内上电脑处理。影响收入的网络中断——5 分钟(必须随时带着充好电、已认证、能联网的笔记本,不能出行,与副手紧密协调);客户订单批处理卡住——30 分钟(可以出门办点事或短途通勤);上线前服务的数据库备份失败——开工单在工作时间处理。很多现在触发呼叫的事,更适合自动修复或工单。
超负荷的例子:负责前端负载均衡和连接终结的 Connection 团队,值班预算每班两次事件,却常收到五次,三分之一的班次超预算;工程师只能救火、无暇找根因,有人转去运维负担轻的团队。他们监控很成熟(告警与 SLO 对齐、基于症状),但从十多个开发团队接手了组件,依赖骨干网——很多呼叫不在自己控制范围内(如网络拥塞导致黑盒探针失败,只能升级给网络团队);同时还要交付新功能、从十年老框架迁移,变化本身制造大量值班负担。管理层批准了专门的减负项目。
三类输入: - 生产:已有 bug 数量、新引入 bug、发现新 bug 的速度、消除 bug 的速度; - 告警:触发阈值、新增的呼叫告警、服务 SLO 与其依赖的 SLO 是否对齐; - 人工流程:修复与跟进是否严格、呼叫数据质量、是否关注负载趋势、人工变更生产。
已有 bug:让系统尽可能简单;定期升级依赖库以获得修复;定期做破坏性/模糊测试(如 Chaos Monkey);常规负载测试。
新 bug:对生产中发现的每个 bug 问“怎样能在上线前发现?”;别忽视负载测试——许多 bug 只在特定负载或请求组合下出现(返校季、黑色星期五、夏令时导致欧美用户同时在线的那周;亚洲字符集请求更昂贵;用户以意外方式使用系统,如把航空订票系统当日历);在类生产环境用合成流量测试;金丝雀;对新 bug 低容忍:检测 → 回滚 → 修复 → 再前滚,前提是可预测且频繁的发布。优先修现有 bug 再做新功能;错误预算超出一定比例时冻结功能发布。Connection 团队要求每次中断都有跟踪 bug,数据显示人为错误是新 bug 的第二大来源——于是优先把半手工的复杂变更自动化(由意图配置驱动的自动化能在变更进入生产前做人做不到的检查)。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 值班
原书出处 · 1 处
- 第8章 值班 · 查看原书依据
呼叫负载是值班工程师在典型的轮班时间内(例如每天或每周)收到的寻呼事件数。