知识卡片

普通读书笔记卡 · 1591.a

值班的基本原则

理解等级:初级

值班的含义:在规定时间内可联系,并准备在紧急时限内响应生产事件;根据需要诊断、缓解、修复或升级;也承担非紧急的生产职责。值班不只是 SRE 的事,许多开发团队也直接为服务值班;并非所有 SRE 团队都必须值班,但大多数会。

第一本书的要点: - 目标是覆盖关键服务,绝不以牺牲值班工程师的健康为代价换取可靠性; - 至少 50% 项目时间,人手要足以保证项目时间; - 每个 12 小时班次最多两起事件(一起事件不论触发多少条告警都算一起),以便有时间跟进;负载过高必须纠正; - 心理安全至关重要:值班令人生畏,要有完善的流程和升级路径支持; - 值班占用非工作时间,应当补偿——Google 提供调休或现金,但有上限,既激励参与,又避免为钱过度值班。

新团队如何三个月上岗(Mountain View 案例):7 人团队(技术负责人、一名资深 SRE、一名从开发转来的工程师、四名新员工)接手柯克兰团队的三项服务(伦敦姐妹团队继续支持)。 - 培训路线图:两名资深成员列出二十多个上岗前要练习的重点,如管理生产作业、理解调试信息、从集群引流、回滚坏发布、阻止或限制不需要的流量、扩容、使用监控、描述服务架构与依赖;新人通过文档、代码实验室和入门项目学习,学到什么就给大家开短会分享;实验课练习调试与缓解,建立肌肉记忆; - 深潜:浏览监控、查看运行的作业、调试最近的告警;资深成员坦承自己知识的边界,教人何时求助——不需要多年经验就能熟练; - 与其他团队交流:视频、邮件、IRC,参加周生产会议,读每日交接与事故报告;伦敦团队准备灾难场景并在灾难恢复测试中演练;用“命运之轮”角色扮演重演近期事件,轮流主持并录下来; - 明确职责:班次开始读上一班交接;先把用户影响降到最低,再彻底解决;班次结束发交接邮件;何时升级、如何写事故报告; - 剧本:每创建一个告警通常就创建对应剧本条目,说明严重性与影响、调试建议和缓解措施,降低压力、MTTR 和人为错误; - 逐步接手:两个月后资深成员承担班次,三个月后成为主值班、原团队做后备,新人先跟班再加入。成果:机器成本降低 40%,发布通过金丝雀和安全检查完全自动化,保持 99.98% 可用性(每季度约 26 分钟停机)。后来苏黎世新团队复用了这套培训材料;针对零星加入的新人,把清单整理成可半独立完成的练习。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第08章《第8章 值班》8 第一本SRE图书On-Call章节的回顾;谷歌:组建新团队(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/14.html,来源项目 book-sources) - 结论依据:第8章回顾值班原则(不以牺牲健康换可靠、每12小时班最多两起事件、心理安全、补偿),并以Mountain View新团队三个月上岗为例说明培训路线图、深潜、跨团队学习、角色扮演、值班职责与剧本,以及逐步接手值班的过程和成果。 - 原始内容:我们的目标是每个值班班次最多发生两次事故,2以确保有足够的时间进行跟进。