← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 5323.a.3

先静音告警再逐个修复

理解等级:中级

苏黎世团队的恢复措施(高层先给团队分配一位专属的新经理,采用参与式管理,并做简单的团队建设——有的简单到一起喝茶,参考基于 Project Aristotle 的 Google 方法):

短期(一个月内)——长期压力会降低生产率、损害健康,最重要的是减压、重建信任和心理安全,让人能思考清楚: - 半定期的圆桌会议宣泄挫败感,集体讨论过载原因; - 换更好的负载指标:原来只看呼叫数;改为把工单自动分配给值班者、轮班结束后仍由其负责,衡量值班者在轮班后解决工单所需的时间; - 审核并删除不代表用户问题的垃圾告警; - 慷慨地静音告警——不为每个告警追根溯源,而是先减轻已知问题被反复呼叫和开单的压力:冒出的告警静音到修复为止;静音只能持续有限时间(通常一天,最长一周),否则可能掩盖中断;几分钟内修不好的告警分配跟踪工单; - 专属经理成为受尊重的团队成员,重建对管理层的信任; - 重新平衡团队:加入对团队和组织没有先入之见、技术经验丰富的 SRE,带来新视角和值班人手; - 午餐、桌游等团队活动,聊工作以外的话题、一起大笑。

中期(三个月内)——光靠短期措施(比如只是静音)维持不了健康:把运维工作尽量限制在值班时间;把一项服务交还给开发团队;互相培训(也培训新人)——发现自己其实很懂服务,信心提升,开始寻找改进方法;从远程团队引入 SRE 分担值班并参加培训;补齐两个空缺;静音到期就逐个处理告警——在每周生产会议上讨论没有采取行动的重复呼叫,调整告警或解决根本问题(只有静音后没有持续噪声,才有空间分析);管理层(含跨级经理)组织倾听活动,找团队驱动的方案;给出前景——希望不是策略,但有助于士气。

长期:让服务 SLO 与后端 SLO 对齐、让服务更统一(减轻认知负担,自动化可跨服务复用);把老服务更新到当前生产标准(负载已大幅增长、后端策略已变化、多年未更新的服务)。

效果:几个月后值班变安静,团队以小组形式高效处理了一次困难事故;新成员说无法想象团队曾有过这些问题,认为团队温暖安全;约一年后匿名调查显示成员认为团队有效且安全。

教训:队友不是机器,要关注团队压力,否则会陷入“过载→压力→无力应对过载”的恶性循环。感知过载就是过载,影响与其他原因的过载一样大——悉尼团队面对的呼叫数与往年相比变化不大,而苏黎世是因为缺人、认知负担、工单噪声和三天工单 SLO 才感到过载;最终客观与感知的区别并不重要,少数人的感知过载会很快变成全队过载。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第17章《第17章 识别过载并从中恢复》17 案例研究2:实施(短期、中期、长期行动);效果;经验教训(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/24.html,来源项目 book-sources) - 结论依据:第17章案例研究2的恢复措施包括专属经理、圆桌会议、按值班后解决工单时间衡量负载、限时静音告警并在到期后逐个处理、引入新视角SRE、交还服务、互相培训、对齐SLO等短中长期行动,结果团队约一年后恢复有效与安全,并总结感知过载就是过载。 - 原始内容:警报只能在有限的时间段(通常是一天,有时长达一周)内保持静音。