知识卡片
剧本与Evernote的值班
维护剧本的争议:剧本过时的速度与生产变化一样快。有人主张条目写得通用(如所有“RPC 错误率高”告警只有一条,由受过训练的工程师结合架构图阅读),变化慢;有人主张写逐步操作,减少人为差异、降低 MTTR。建议:至少与团队约定剧本必须包含的最小结构化内容,注意剧本何时积累了超出这些结构的信息——把来之不易的生产知识转化为自动化或监控控制台。如果剧本只是告警触发时要运行的一串确定性命令,就应该自动化。
Evernote 的值班改造:70 天内把数千台服务器和 3.5 PB 数据迁到 GCP 后,原先的告警策略不再适用——在自建机房里冗余充分、基础设施稳定,丢几个包或一次 JDBC 连接异常几乎必然意味着某台宿主机或交换机快坏了;而在云上的实时迁移和网络延迟世界中,需要更全局的监控。 - 按第一性原理重新定义呼叫事件,并写成明确的 SLO:关注 API 响应等高层指标,而不是 InnoDB 行锁等待这类底层指标——把时间花在用户真正的痛苦上,少追瞬态问题,多睡觉; - 事件三级:P1 立即处理(呼叫值班、指挥分诊、影响 SLO);P2 下一个工作日处理(通常不面向客户或范围很小,发邮件到团队并通知事件频道);P3 仅供参考(仪表板、被动邮件,含容量规划信息)。P1/P2 都附工单,记录分诊、补救、SLO 影响、出现次数和事后报告链接; - P1 再按 1–3 级评估用户影响;Sev1 有简单明确的升级标准,组建事件团队(事件经理、记录员、沟通负责人),结束后自动生成事故报告并公开分享;Sev2/3 由值班者处理全生命周期并做简短回顾; - 流程轻量,并明确值班期间不承担项目工作,鼓励值班者立即跟进、改进工具和流程——每一班都比上一班好; - 每月开放的服务评审会议,审 SLO 表现和值班负担,超出值班预算时讨论补救; - 与 Google CRE 合作,一起处理影响 SLO 的事件,看穿云抽象层,降低 MTTR;节省下的时间投入微服务平台和生产就绪标准。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 值班
原书出处 · 1 处
- 第8章 值班 · 查看原书依据
如果您的剧本是每次特定警报触发时应召唤工程师运行的确定性命令列表,建议您实施自动化。