知识卡片
让事后总结文化可持续
示范并执行无责行为:领导者要以身作则。例:Sandy 没参加某服务培训,不会运行更新命令,延长了停机。指责式回应(“你是经理,为什么不确保大家完成培训?”)让人立刻防御;更好的回应是讨论是否应把培训作为上岗前提、提醒大家卡住时尽快升级(升级不是罪过),并指出长期不应过度依赖培训。让所有参与者共同撰写事后总结,单人或单团队写容易遗漏关键因素;用清晰的审查流程和清单防止指责性语言扩散。
奖励事后总结的结果: - 按行动项奖励——只奖励写报告、不奖励完成行动项,会形成“写完就不了了之”的循环; - 奖励由此带来的积极组织变革(奖金、绩效、晋升); - 在报告、演示和评审中突出可靠性的提升; - 让事后总结作者成为该类故障的“专家”和讲者; - 游戏化:Google 每年两次“FixIt”活动,完成行动项最多的 SRE 获得少量奖励和吹嘘的权利,配排行榜。
广泛分享:在内部渠道宣布;跨团队评审(Google 有向全员开放的非正式“事后总结读书会”,还有跨职能小组每月审查流程和模板);培训新人时用“不幸之轮”重演过往事后总结,原 IC 到场;每周发布过去 7 天的事件与中断报告,定期汇总最热门的事后总结。
文化失败的信号与对策: - 回避:“幸好我没卷进去,可不想去开那个会”——对高可见度的事后总结做评审,分享好例子并奖励参与者; - 高层使用指责性语言(“虽说要无责,但这里很安全——一定有人早知道这是坏主意”)——引导到建设性方向:是否有我们本可注意到的警告信号,为什么忽略了它们?人们都是基于当时最好的信息善意行事; - 没时间写:事后总结是写给未来队友的信,质量要一致;优先安排、跟踪完成和评审,并留出执行行动项的时间; - 重复事件:追问行动项是否关闭太慢?功能速度压倒了可靠性?行动项抓对了吗?服务需要重构吗?是不是在严重问题上贴创可贴?发现系统性问题时,召集各次类似事件的作者一起讨论。
工具与模板:模板让写作完整、格式统一(Google 的模板公开在 g.co/SiteReliabilityWorkbookMaterials,内部用 Docs 协作,脚本预填元数据);事件管理工具自动把 IC 等角色、时间线和 IRC 日志、受影响服务与根因服务、严重级别、检测机制推入事后总结;事后总结清单(全面评估影响、足够深入的根因分析、行动项经服务技术负责人审批、广泛共享);Requiem 存储自 2009 年以来成千上万份事后总结并解析元数据;行动项作为 bug 进入集中跟踪系统,监控关闭情况;分析每个组织每月的事后总结数、平均持续时间、检测时间、解决时间和影响范围。第三方工具如 PagerDuty Postmortems、Etsy Morgue、VictorOps。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 事后总结文化:从失败中学习 · 查看原书依据
如果您奖励撰写事后报告的工程师,而不是奖励完成相关的操作项的工程师,则您可能会面临未完成事后报告的无情循环。