知识卡片

普通读书笔记卡 · 5252.a.1

尽早宣布事件

理解等级:中级

经过:Google Assistant 1.88 版的 bug 让说话人识别文件的拉取频率比预期高 50 倍(每 30 分钟一次而非每天一次),超过服务器为防过载设置的配额。 - 5 月 22 日,开发者 Jasper 在 QPS 图上发现异常,暂停了已推到 25% 用户的发布并开 bug;另一位开发者把它与已知 bug(刷新认证状态时语音处理器重启)关联,计划在 1.88 之后修,并申请临时提高配额——发布恢复,5 月 31 日到 50%;但关联的 bug 并非真正根因; - 用户开始报告说“OK Google”后设备报错,团队怀疑配额问题再次提高配额,似乎缓解了;客户端与服务端开发沟通不畅,排障走错方向; - 6 月 1 日用户反映恢复,发布继续——根因仍未找到;发布在周末进行,开发者不易联系; - 6 月 3 日周六推到 100%,再次触发配额限制,用户大量投诉(电话、推特、Reddit、帮助论坛),bug 却没有提升优先级; - 6 月 4 日周日,支持团队把 bug 提到最高级,但团队仍没有宣布事件,继续用 bug 系统“常规”排障;值班开发让 SRE 引流一个出错的集群,结果错误转移到其他集群——更多证明是配额问题;下午 3:33 开发经理再次提高配额,影响停止,随后才找到根因。

评论: - 开发者周末自发参与值得感谢,但成功的事件管理不应依赖个人英雄主义——首次上线应放在工作时间,或安排有偿的非工作时间轮值; - 团队三次成功缓解,但只有找到根因才能防止复发;首次缓解后应暂停发布直到根因确认,避免周末大规模中断; - 最大的问题是问题初现时没有宣布事件。经验表明,受管理的事件解决得更快:尽早宣布能防止客户端与服务端开发之间的误解,更快找到根因,相关团队更早加入,对外沟通更顺畅。集中沟通是 IMAG 的重要原则——把所有响应者聚到一个“作战室”(会议室、IRC 频道或群聊),实时沟通。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第09章《第9章 事件响应》9 案例研究1:软件Bug——灯亮但没有人在家(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/15.html,来源项目 book-sources) - 结论依据:第9章案例1以Google Assistant配额超限事件为例,说明误判根因、周末发布、用户大量投诉仍未提升优先级与宣布事件的经过,评论不应依赖个人英雄、缓解后应暂停发布直到确认根因,强调尽早宣布事件与集中沟通的好处。 - 原始内容:我们的经验表明,受到管理事件的解决速度更快。