知识卡片

普通读书笔记卡 · 1591.a.2

呼叫负载的三类输入

理解等级:中级

呼叫负载:值班工程师在一个班次(每天或每周)收到的呼叫事件数,一个事件可能有多次呼叫。

先审视响应时间:不是每件事都要几分钟内上电脑处理。影响收入的网络中断——5 分钟(必须随时带着充好电、已认证、能联网的笔记本,不能出行,与副手紧密协调);客户订单批处理卡住——30 分钟(可以出门办点事或短途通勤);上线前服务的数据库备份失败——开工单在工作时间处理。很多现在触发呼叫的事,更适合自动修复或工单。

超负荷的例子:负责前端负载均衡和连接终结的 Connection 团队,值班预算每班两次事件,却常收到五次,三分之一的班次超预算;工程师只能救火、无暇找根因,有人转去运维负担轻的团队。他们监控很成熟(告警与 SLO 对齐、基于症状),但从十多个开发团队接手了组件,依赖骨干网——很多呼叫不在自己控制范围内(如网络拥塞导致黑盒探针失败,只能升级给网络团队);同时还要交付新功能、从十年老框架迁移,变化本身制造大量值班负担。管理层批准了专门的减负项目。

三类输入: - 生产:已有 bug 数量、新引入 bug、发现新 bug 的速度、消除 bug 的速度; - 告警:触发阈值、新增的呼叫告警、服务 SLO 与其依赖的 SLO 是否对齐; - 人工流程:修复与跟进是否严格、呼叫数据质量、是否关注负载趋势、人工变更生产。

已有 bug:让系统尽可能简单;定期升级依赖库以获得修复;定期做破坏性/模糊测试(如 Chaos Monkey);常规负载测试。

新 bug:对生产中发现的每个 bug 问“怎样能在上线前发现?”;别忽视负载测试——许多 bug 只在特定负载或请求组合下出现(返校季、黑色星期五、夏令时导致欧美用户同时在线的那周;亚洲字符集请求更昂贵;用户以意外方式使用系统,如把航空订票系统当日历);在类生产环境用合成流量测试;金丝雀;对新 bug 低容忍:检测 → 回滚 → 修复 → 再前滚,前提是可预测且频繁的发布。优先修现有 bug 再做新功能;错误预算超出一定比例时冻结功能发布。Connection 团队要求每次中断都有跟踪 bug,数据显示人为错误是新 bug 的第二大来源——于是优先把半手工的复杂变更自动化(由意图配置驱动的自动化能在变更进入生产前做人做不到的检查)。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第08章《第8章 值班》8 值班负载的剖析:适当的响应时间;场景:团队超负荷;呼叫负载输入(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/14.html,来源项目 book-sources) - 结论依据:第8章定义呼叫负载,按事件影响给出5分钟、30分钟、工单三档响应时间,以Connection团队超负荷为例,列出生产、告警、人工流程三类负载输入,并说明减少已有bug与新bug的手段(负载测试、类生产测试、金丝雀、先回滚再修复、错误预算冻结、把人工变更自动化)。 - 原始内容:呼叫负载是值班工程师在典型的轮班时间内(例如每天或每周)收到的寻呼事件数。