此笔记位置已失效,请从目录继续阅读。
全书导读
本书是 Google SRE 系列的第二本,英文原名 *The Site Reliability Workbook: Practical Ways to Implement SRE*(O’Reilly 2018),由 Betsy Beyer、Niall Richard Murphy、David K. Rensin、Kent Kawahara、Stephen Thorne 编。本笔记依据的是 GitHub 社区项目 redbearder/The-Site-Reliability-Workbook-CHS 的中文译本(机器辅助翻译后人工整理)。它不是第一本《SRE:Google 运维解密》的新版,而是一本实施伴侣:每章对应第一本书的相应主题,补上“原则怎样在我的团队里落地”的细节,并加入 Evernote、家得宝、纽约时报、Spotify、Waze、宝可梦 GO 等 Google 以外的案例,用来回应“SRE 只适用于 Google 规模和文化”的质疑。
全书分三部分:基础(第2–7章:SLO、监控、基于 SLO 的告警、琐事、简单性)、实践(第8–16章:值班、事件响应、事后总结、负载管理、非抽象大型系统设计、数据管道、配置、金丝雀发布)、流程(第17–21章:过载、SRE 参与模式、与客户一起做 SRE、团队生命周期、组织变更管理),首尾是与 DevOps 关系的第1章和总结,最后的三个附录给出可直接套用的 SLO 文档、错误预算政策和中断原因统计。
阅读时要注意译文质量:社区译本有不少机器翻译痕迹,个别句子意思颠倒(如第14章“重点放在技术性细节上”、第18章把 GA 译作“Google Analytics”、附录B 的“SLO小姐政策”)。卡片按上下文和英文原版理解,在正文中注明了校正,引文保留中文原样。
全书主线
全书围绕一条线展开:用 SLO 和错误预算把“可靠性”变成可以测量、可以协商、可以据此做决定的东西,再用工程手段削减实现它所需的人工。
- SLO 是一切的起点:100% 是错误的目标,SLI 是好事件的比例,错误预算政策要让产品、开发、SRE 三方认可,并据此安排工作和告警(第2–5章);
- SRE 的时间要留给工程:琐事有边界并持续削减,运维约占三成、项目约占七成,系统要端到端地保持简单(第6–8章);
- 大多数中断来自变更:二进制和配置推送占了约 68% 的中断触发(附录C),所以配置要以用户为中心并安全应用,发布要用金丝雀,数据管道也要分阶段上线(第13–16章);
- 事故是学习的机会:用 3C 和明确的角色管理事件,优先采取通用缓解措施,写无责、有行动项的事后总结(第9–10章);
- SRE 是一种组织形态:要能调节自己的工作量,关注感知过载和心理安全,在服务的整个生命周期里与开发伙伴共享目标,必要时交还服务;平台方还要和客户一起做 SRE(第17–21章)。
前言 I
Mark Burgess 从“承诺”的角度看 SRE:明确设定服务目标,按指标和预算持续评估,快速响应以兑现承诺。他指出自动化并没有消灭人,规模越大人的因素越重要。Andrew Clay Shafer 的前言一起归入可靠性是做到的不是读到的。
原书依据 · 1 处
前言 II
Andrew Clay Shafer 回顾了 DevOps 的由来,认为 SRE 是 DevOps 理念最先进的实现之一。他的落点是“学习就是改变行为”:读完书却没有改变做法,就不算学到,见可靠性是做到的不是读到的。
原书依据 · 1 处
序言
编者说明了第二本书的两个目标:补上实施细节,并打破“只有 Google 规模和文化才能做 SRE”的看法。本书与第一本对照阅读,见本书是把原则落地的伴侣。
原书依据 · 1 处
第1章 SRE如何与DevOps相关
本章先归纳DevOps的五个关键思想,再列出SRE的核心原则,并讨论共享所有权与统一工具。结论是 SRE 可以看作 DevOps 的一种具体实现:SRE与DevOps的异同。最后给出成功采用的组织条件。
第一部分 基础
第一部分(第2–7章)讲 SRE 的地基:SLO、监控、告警、减少琐事和简化。这些基础打好了,后面的实践才能展开。
第2章 实施SLO
本章从与第一本书对照阅读的定位出发,先论证100%可靠性是错误目标,再定义SLI是好事件的比例,并示范按组件类型挑选SLI。落地步骤是从实测数据得出起始SLO,配合四周滚动窗口最通用。治理层面强调错误预算政策要三方认可,并要持续校准SLO与真实不满。之后用错误预算排定工作。高级主题提醒依赖可靠性不能简单相乘。
第3章 SLO工程案例研究
两个外部案例:Evernote从可用性起步,并在上云后与云厂商共享同一SLO;家得宝则推出家得宝的VALET框架,最终自动化让SLO一年铺开。
第4章 监控
本章先讲挑选监控系统看四方面,再强调指标告警,日志查因。工程实践上要求监控配置即代码且松耦合,并做到有目的的指标与告警测试。
第5章 基于SLO发出警报
本章用告警策略的四个衡量维度逐一比较六种告警方案,推荐多窗口多消耗率告警,并讨论低流量与极端目标的告警。
第6章 消除琐事工作
本章先说明琐事的特征与根因修复,再教如何度量琐事并识别来源,给出减少琐事的通用策略。两个案例分别是数据中心维修自动化和退役文件服务器主目录。
第7章 简单化
本章主张简单性要端到端追求,并且简化是一项要庆祝的功能。
原书依据 · 2 处
第二部分 实践
第二部分(第8–16章)在基础之上讨论大规模运维的具体活动。其中数据管道和负载管理并不适用于所有组织;而安全地处理变更、值班、事件处理这几项,对任何 SRE 团队都有用。本部分还介绍了非抽象大型系统设计(NALSD)。部分概览先界定了运维与项目时间三七开。
原书依据 · 1 处
第8章 值班
本章回顾值班的基本原则,接着介绍剧本与Evernote的值班。随后剖析值班负载:呼叫负载的三类输入,缩短识别与缓解延迟,告警纪律与系统性跟进。最后强调值班要可持续且灵活。
第9章 事件响应
本章以事件管理的3C与角色为框架,主张尽早宣布事件,通用缓解优先于查明根因。案例见雷击与PagerDuty的实践。结论是事件管理要提前准备与演练。
第10章 事后总结文化:从失败中学习
本章用一次真实事故(空列表被当成不过滤)做对照,先展示坏的事后总结长什么样,再改写出好的事后总结的特征,最后讨论如何让事后总结文化可持续。
第11章 管理负载
本章从稳定任播与分层负载均衡讲起,以宝可梦GO的同步重试风暴为案例,提醒自动扩缩容要设边界,并指出负载管理工具会互相干扰。
第12章 介绍非抽象大型系统设计
本章定义非抽象大型系统设计,以日志关联服务为例,先做单机方案的数量级估算,再推进到分片复制与跨数据中心共识。
第13章 数据处理管道
本章先介绍管道的类型与ML管道排障,再讲最佳实践:管道SLO要端到端衡量,为依赖失败做计划并写文档,管道的金丝雀与部分部署,热点、容量与访问控制,幂等变更与管道成熟度。面对故障的基本原则是陈旧数据好过错误数据。Spotify 的案例包括Spotify事件交付的SLO和Spotify的运维与支持。
第14章 配置设计和最佳实践
本章把配置是修改系统的人机界面作为出发点,主张配置应以用户为中心,必要时用可选覆盖逃离简单。机制上要求配置界面与配置数据分离,变更时要做到安全应用配置变更。
第15章 配置细节
本章区分配置琐事:重复与复杂,列出配置语言的五个陷阱,用 Kubernetes 示范Jsonnet模板消除重复,并给出自研应用的配置数据设计。运行层面讨论配置何时求值:早中晚,以及不可信配置要放进沙箱。
第16章 金丝雀发布
本章从发布工程原则与功能开关讲起,说明金丝雀就是AB对照比较。实施时关注金丝雀的错误预算与规模和金丝雀指标要能指示问题,并讨论前后对比与渐进金丝雀。最后比较蓝绿、合成负载与流量复制。
第三部分 流程
第三部分(第17–21章)把 SRE 当作一种需要一致流程的文化来讨论:管理运维和开发工作、从过载中恢复、与开发伙伴和客户的关系、组织变更管理。它主要写给 SRE 负责人,帮助他们为团队营造实施第二部分实践的空间。
第17章 识别过载并从中恢复
本章先区分运维过载与感知过载。两个案例分别是两天清空数月积压,以及感知过载侵蚀心理安全,后者的恢复办法是先静音告警再逐个修复。通用策略见识别并缓解团队过载。
第18章 SRE参与模型
本章说明SRE参与贯穿服务生命周期。建立关系时,SRE 的承诺是支持你尽快安全发布,外部案例见纽约时报的共享目标模型。日常要维持与开发团队的关系。规模变大后需要扩展SRE与结束参与。
第19章 SRE:超越自己
本章从可靠性由用户决定推出平台方必须和客户一起做 SRE,给出与客户共建SLO的五步,并要求有原则地选择深度合作客户。
第20章 SRE团队生命周期
本章围绕三条原则给出 SRE 组织的成长路线:没有SRE也能起步SRE,接着按塔克曼模型讨论组建首个SRE团队的风险,再到成熟SRE团队自主定工作量。扩张阶段讲双地姐妹团队的布局,管理多个团队时,资金上的原则是SRE应少于组织想要的数量。
第21章 SRE中的组织变革管理
本章先介绍变更管理模型与SRE。Waze 的案例用 Kotter 模型回看:Waze替换濒临崩溃的消息队列,下一轮的经验是增量变革胜过一步到位。Google 内部收敛工具的案例用 ADKAR 模型解读,结论是通用工具的第一指标是采用。
总结
编者展望了大企业和小公司采用 SRE 的情况,以及 SRE 与安全等其他学科的结合,落点是SRE属于所有人。
原书依据 · 1 处
附录A SLO文档示例
一份完整的示例游戏服务 SLO 文档,结构与取值见SLO文档示例要素,可与第2章的错误预算政策对照阅读。
原书依据 · 2 处
附录B 错误预算政策示例
与附录A配套的政策文本,包括冻结条件、例外情形、事后总结阈值和升级路径,见错误预算政策示例。
原书依据 · 1 处
附录C 事后分析的结果
Google 2010–2017 年事后总结的统计说明68%的中断由推送触发,这为第14–16章强调安全变更提供了数据依据(参见发布工程与功能开关)。