← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1591.a.4

告警纪律与系统性跟进

理解等级:中级

告警纪律(每 12 小时班最多两起事件,促使对告警保持谨慎): - 所有告警都应立即可操作;信噪比要高,几乎没有误报,否则会导致告警疲劳; - 只采用基于 SLO 的告警时,所有开发和运维团队都必须认同满足 SLO 的重要性并据此排优先级; - 已完全基于 SLO 和症状告警时,放宽阈值未必是对呼叫过多的正确回应; - 新告警像新代码一样要认真评审,并有对应剧本条目;团队任何人都可以写,但由全队评审; - 先在测试模式运行(如只发邮件给作者)足够长时间,经历常规发布、云厂商维护、每周负载高峰等典型条件——大约一周;用测试期的触发率预测对值班预算的消耗,由团队明确批准或否决;新告警还可能暴露未知问题,修复后它就像回归测试。

后续措施:每次呼叫都要找根因——根因可以延伸到团队流程(单元测试本应捕获的 bug,根因可能是代码审查流程)。找不到就加监控或日志,以便下次查到;很少应该以“原因未知”结案;把呼叫当成“瞬态”“自愈”而不处理,会让下一位值班者再被叫起来。只做点修复会错过消除一整类问题的机会:例如同一故障域(同一交换机)上的服务器太多导致多起并发故障——点修复是重新平衡这一次;系统修复是用自动化确保这类服务器始终分散并自动重平衡;监控修复是在故障域多样性低于预期但尚未影响服务时开工单告警。用数据论证项目优先级:一个 120 工时的项目,若每次呼叫平均处理 4 工时,30 次呼叫后就回本。跟进时自问:如何防止这个 bug 在本系统和我负责的其他系统中再发生?什么测试本可阻止它上线?什么工单告警或信息告警本可提前暴露它?我是否最大化了修复的作用?Google 值班工程师在值班期间通常不做项目,而是改进系统健康;生产 bug 要例行地排在其他项目前面。

数据质量:为每条呼叫在 bug 跟踪系统(Jira 等)提交占位 bug,由值班者把它与已知问题关联——最后得到“未理解的 bug ↔ 它导致的所有呼叫”的对照,可回答:哪些 bug 导致最多呼叫?哪个组件(支付网关、认证服务……)呼叫最多?呼叫是否与其他信号(请求峰值、会话数、注册数、提现数)相关?还能自动生成已知问题列表、按呼叫数给 bug 排优先级。要写明数据收集的期望,用非呼叫告警标出未按期望处理的呼叫,队友间互相提醒(“可能与 bug 123 有关”)。

警觉:团队常是被“千刀万剐”拖入运维过载——像温水煮青蛙。在生产会议上用结构化数据讨论负载趋势(21 天移动平均很有用);负载超过预先约定的“警告”阈值时给技术负责人或经理开工单;SRE 与开发定期开会讨论生产状态。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第08章《第8章 值班》8 警报;后续措施;数据质量;警觉(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/14.html,来源项目 book-sources) - 结论依据:第8章告警一节要求告警可操作、新告警像代码一样评审并先在测试模式运行约一周、用触发率预测预算消耗;后续措施一节要求找到包括流程在内的根因、区分点修复与系统修复和监控修复、用数据论证项目;数据质量一节建议为每条呼叫建占位bug并关联统计;并建议用21天移动平均与阈值工单监视负载趋势。 - 原始内容:所有警报应立即可操作。