此笔记位置已失效,请从目录继续阅读。
全书导读
SRE用软件工程方法解决服务运行中的可靠性问题。对象不只是服务器是否活着,还包括用户能否得到正确而及时的结果、变更是否可控、数据能否恢复,以及团队是否仍有时间改善系统。它把运维中的反复人工劳动转成工程问题,又通过目标和责任分工避免可靠性与产品演进永久对立。
本书由多位Google实践者撰写。先认识SRE职责与生产环境,再用风险、SLO、琐事、监控、自动化和发布建立原则;实践篇从报警与值班一路进入负载均衡、过载、共识、任务与数据;管理篇说明培训、协作与接手怎样让这些能力持续存在。其他行业的比较和附录提供风险边界与文档实例。
阅读时要同时问三个问题:用户需要多可靠,系统怎样感知与限制失败,组织怎样把故障经验转成下一次改进。书中人数、轮值上限、工具名称、恢复数据和容量冗余都依赖当时场景,不能只复制数字。尤其是高危行业的生命安全后果,与本书主要讨论的在线服务不同,不能由错误预算推出任意系统都适合快速冒险。
本轮复用已核验的48个实质来源项、123阅读单元与381张历史卡,补充逐项独立讲解、唯一主要位置与真实原文出处,保留历史报告;其中六项内容后续已于2026-10-24定向评估并处理。未把历史审查说成本轮重新执行。
身份字段按本地版权页采用2016-09及ISBN 9787121297267;OPF日期为2016-12,属于不同元数据记录。EPUB把孙宇聪列作作者,但译者序明确自述翻译工作;Google Research与原版版权页列Betsy Beyer、Chris Jones、Jennifer Petoff、Niall Richard Murphy为编者,因此按此分开作者/译者。核验路径见evidence/identity-verification.json。
全书主线
可靠性首先是产品选择。SLI明确如何测量,SLO表达所需目标,错误预算把发布速度与用户影响连接起来。监控、报警和轮值应按这些目标工作,而不是把每个机器异常都转换为人的紧急任务。
团队必须有工程时间才能减少未来的运维负担。琐事识别、50%规则、自动化、发布工程和简单化,把重复劳动及变更风险逐渐移入可理解、可测试、可恢复的软件与流程。自动化能扩大能力,也能扩大错误,因此仍需输入边界、限速、授权和恢复路径。
实践从发现问题推进到恢复和预防:时间序列与探针提供证据,排查用假设与验证缩小范围,事故角色和状态文档保证协作,事后总结与故障跟踪再把一次经历转成长期改进。测试和小批发布把部分问题提前拦截。
资源约束下,负载均衡、过载保护、有界重试和截止时间共同限制正反馈。关键状态依靠经过证明和测试的共识系统;周期任务、持续流水线和备份恢复进一步说明,副本一致、调度一致或备份存在,都不自动保证外部副作用与用户数据的完整结果。
最后,培训、极化时间、嵌入支持、团队接口和参与模型把工程能力保留下来。可靠系统依赖持续的组织反馈,目标是用更好的抽象和预案支撑规模,而不是不断增加被打断的人手。
译者序
译者把 SRE 的工作背景放在百万台服务器和大量业务共同运行的环境里:一个日常小问题会被规模反复放大,因此必须寻找能持续重复奏效的工程办法。他强调的务实,是拿设计、实现与监控结果检验判断,并在日常评审、事故讨论、文档和代码维护中逐步消除根源问题。这里提供的是全书的阅读立场:注意作者怎样辨认问题、作出取舍以及修正方案,不把工具名称当成可靠性的来源。译者经历、翻译经过和致谢属于出版背景;有关务实与自动化的机制会在后续各章具体展开,本项不另立知识卡。
前言
Mark Burgess 将运维看作人和计算机共同参与的系统工程。Google 的扩大规模迫使团队同时改变技术工具、协作方式和商业运作,增加机器本身并不足以解决问题。前言因此提醒读者:这本由多位实践者写成的文集保留了不同观点与失败经历,每项选择都有当时的约束;读者应追问为什么采用某个方案,以及换一种条件会怎样。设计过程被记录下来,其价值可以超越某个工具的寿命。这里的作用是校准阅读方式,避免把 Google 的经历当成可以原样复制的标准答案;它没有再展开可独立执行的机制,所以保留为导读,不另生卡。
序言
软件上线后仍要面对需求、故障、变更与退役。序言以维护成本占软件总成本很大一部分说明:可靠运行需要贯穿生命周期的专门工程投入,不能把部署完成当作工作结束。软件成本主要花在上线之后保留这一成本视角。SRE 首先是使用软件工程解决问题的工程师,工作的焦点是可靠性,工作对象是集群上运行的业务服务;达到适合产品的可靠程度后,也要把精力投向新功能。这三层含义见SRE名称的三层含义。
可靠性指在指定环境、指定时间内持续完成指定功能的概率;环境、功能与时长共同限定了“可靠”的含义,而不是一个脱离场景的绝对标签。可靠性应在早期设计中考虑,后期持续修缮,见可靠性的概率定义。本书主要讨论大型网站与类似服务,序言明确把核电、民航和医疗等安全关键系统排除在直接讨论范围之外。
Margaret Hamilton 的 P01 故事说明,即使操作者训练充分,也可能在错误时机调用会清除导航信息的程序。预防性状态检查未被采纳后,手册中的恢复办法成为实际事故的救援手段。这个例子把“人会犯错”转化为设计和预案的要求,详见小概率人为失误也要防住。序言余下的阅读顺序、字体说明、许可与致谢帮助使用这本文集;它们不构成新的可靠性机制。
第Ⅰ部分
第一部分先建立两种阅读所需的背景。第1章解释 SRE 为什么采用工程师组成团队,以及怎样用制度改变研发和运维的协作关系;第2章给出这些制度所面对的生产系统,区分物理机器、服务实例、调度和存储等概念。前者回答“谁以什么方式负责运行”,后者回答“实际运行的对象是什么”,共同为后面的风险与最佳实践提供语境。本项是两章之间的导引,具体论点由两章承接,因此不另外成卡。
第1章 介绍
传统系统管理员主要靠人工处理事件和变更,规模扩大就需要更多人重复做同样的事,形成人力随负载增长的成本。研发强调尽快发布,运维强调减少值班故障,两种目标又会把正常协作变成审批与绕过审批的拉锯;Dev/Ops矛盾的组织根源解释了这种组织矛盾。SRE 的解法是让具备开发能力的人员用软件改善运行系统,并保证他们有时间这样做:传统运维工作占比设50%上限,超限时可以把工作交还研发或让研发参与轮值,详见SRE的人员构成与50%规则。这也是SRE与DevOps共同的工程化方向在 Google 的一种具体落实。
共同的风险尺度是错误预算。可靠性目标由产品方结合用户满意程度、替代选择和使用方式决定,而非无限追求100%;可靠性目标是产品决策说明为什么这是产品决策。目标与100%的差值,就是双方可以共同管理的故障空间。例如99.99%的目标对应0.01%的预算,团队在预算内权衡新功能与稳定性,见错误预算的本质。
人的注意力也需要预算。监控输出按处理紧迫性分成需立即行动的警报、可排期的工单和供调试使用的日志,避免每封通知都要求人重新判断是否有事,见监控只应产生三类输出。每8至12小时轮值最多处理两个紧急事件,使故障跟进、恢复和事后总结都有时间,见每班最多处理两个紧急事件。不可避免需要人工应急时,预先编写和演练运维手册可以显著缩短平均恢复时间,运维手册把MTTR降到三分之一记录的是书中的经验数据。
变更和容量是同一可靠性工作的不同侧面。渐进发布、发现异常、迅速回退构成变更管理的三项自动化;容量规划则要预测自然增长、计入推广与新功能等非自然增长,并用周期性压测把资源量换成业务容量,见容量规划的三个必需步骤。部署新增资源会改动配置、网络和负载均衡,仍是需要验证的高风险变更,见资源部署是高危变更。负载上升造成延迟增加,最终可能让系统停止服务,因此容量必须按照延迟目标来维护,不能只看请求是否最终成功,见延迟升高等于容量损失。
第2章 Google 生产环境:SRE视角
本章把后文经常使用的 Google 系统放在一个运行环境中。物理机器是资源,软件服务器是对外服务的程序实例,两者不固定绑定。Borg 根据任务声明的 CPU、内存等资源分配位置,监测异常并重启任务;BNS 将逻辑名字解析到当前位置,使调用者不必跟着机器迁移修改地址。物理与逻辑服务器解耦的调度自由度解释了这种解耦为什么提供调度自由。大规模下硬件每天都会坏,因而要由软件与专门硬件团队把损坏隔离在用户体验之外,见硬件故障是常态需软件隔离。
冗余不仅是增加副本数。副本若全部位于同一机柜,交换机仍可使它们同时消失;故障域隔离的调度原则说明故障域分散。任务越过资源配额时被杀掉并重启,是给泄漏影响设边界,见慢速重启胜过持续泄漏。存储又分成机器上的 D 服务、跨集群文件系统 Colossus 和 Bigtable、Spanner 等数据库服务;集群存储的分层结构帮助分清各层提供的抽象。
网络中,集中且有备份的控制器计算路径,交换设备负责转发,见集中控制器替代智能路由器。GSLB 在 DNS、用户服务和 RPC 三个层面把流量引向合适位置,见全局负载均衡的三个层面。需要只选出一个主实例或保存强一致的小型元数据时,可以依靠 Chubby,见分布式锁服务承担主选举。监控数据则同时用于报警、对比版本变化和规划资源,见监控数据的三种用途;内部服务通过 RPC 通信,Protobuf 是书中采用的传输格式,Protobuf比XML更紧凑保留书中与 XML 的比较。共享代码仓库与评审后的提交还能触发直接和间接受影响的测试,见提交即运行受影响的测试。
莎士比亚搜索示例把这些组件串起来:离线生成索引、在线查询本地数据,并由负载均衡将请求分给后端。实例数要在峰值需要之上预留更新和单机故障的空间,书中采用 N+2,并说明部分区域接受 N+1 的成本取舍,见N+2冗余容量规划逻辑。各区域复制数据既服务容灾,也缩短访问距离;这个示例更新很少,允许跨区域副本暂时不一致,见低频更新可接受最终一致。这些选择都依赖负载与故障假设,不能把示例中的冗余数字直接套到所有系统。
原书依据 · 13 处
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
第Ⅱ部分
第二部分把“维持运行”转成一组相互配合的决策原则。风险管理先回答可以接受多少失败,服务质量目标把答案转成能比较的指标;监控提供观察结果,团队才能判断何时需要干预。减少琐事保护工程时间,自动化与发布工程利用这段时间把重复劳动和变更风险做进系统。简单化又限制系统、接口与流程不受控制地膨胀,使这些方法长期可维护。因此这些章节共同处理的是如何让可靠运行与产品演进并存,不是要求每个组织采用同样的工具。本项还推荐自动发布相关材料;详细机制在第3至9章分别展开,不重复成卡。
第3章 拥抱风险
拥抱风险是明确选择风险水平。可靠性越接近极限,冗余资源与工程投入的成本可能越高,还会挤占新功能、技术债清理和降本机会;可靠性投入的成本非线性递增因此把目标同时视作风险的上限与下限。对于有大量请求的分布式系统,用请求成功率往往比“全站是否停机”的时长更能表达部分失败。先定义一次工作的成功与失败,这种方式也能用于批处理和数据流水线,见请求成功率也适用于批处理。
目标应随产品的功能与市场定位变化。企业办公产品被客户日常工作依赖,发展中的消费者产品可能更需要快速演进,见可用性目标随市场定位而定。而同样数量的错误不必同等对待:头像加载失败可以边运行边修,泄露私人联系人则可能需要立即停服,见故障类型比故障数量更重要。如果请求价值近似一致,可以估算增加一个“9”的收入,再与成本比较,见多一个9值多少钱;无法建立收入关系时,书中提出参考用户网络链路的背景误差率,见用背景误差率校准可靠性目标。这些都是场景内的校准办法,不是所有服务通用的百分比。
可用性之外,延迟要求也会改变资源布局。对延迟相对不敏感的广告服务可以合并区域以节省成本,见宽松延迟目标换取成本。基础设施面对多类客户时,可分出低延迟、高吞吐等不同服务水平,把相应的成本与风险选择交给用户,见分层服务水平把成本选择权交给用户。不过直接承接用户连接的入口设施没有更前一层掩盖失败,往往需要更高可靠性,见入口层故障无法被掩盖。
错误预算将这些取舍变成发布规则:产品层确定季度目标,监控作为中立测量方记录实际表现,剩余预算决定是否及以多大速度发布,见错误预算的运作流程。预算接近用尽时可以减速或回退,外部设施故障也会消耗预算。若长期无法发布,目标本身可能过高,团队可以讨论调整目标来恢复创新空间,见错误预算能暴露过高SLO。这里的关键是用事先同意的规则替代临时谈判。
第4章 服务质量目标
服务质量需要区分测量、目标与承诺:SLI 是测得的指标,SLO 是希望指标达到的值或范围,SLA 则约定未达到目标的后果。是否有明确后果,是区分 SLO 与 SLA 的实用问题,见SLI/SLO/SLA三层区分。选择指标时先问用户在意什么,再寻找可以近似表达它的度量,见从目标反推指标而非从指标凑目标;不同类型系统的重点不同,在线服务偏重可用性与延迟,存储还重视持久性,流水线重视吞吐和端到端时延,见按系统类型选择SLI。服务器看起来正常并不代表浏览器页面可用,因而客户端采集可以补足测量盲区,见客户端指标补服务器盲区。
指标的统计方式决定它能显示什么。每分钟平均负载会掩盖秒级峰值,见汇总粒度会掩盖瞬时峰值;平均延迟又会把少数极慢的请求藏起来,需要查看分布和较高百分位,见用百分位而非平均值衡量延迟。为了让不同服务用同一种口径讨论,SLI 模板应固定汇总区间、汇总范围、采样频率、请求范围、数据来源和计时起止点,见用SLI模板统一度量口径。接着才写清 SLO 在什么条件下成立,并为不同负载或不同百分位设置目标,见SLO要写清条件与分层。
目标选择包含产品判断:保持简单,避免绝对值和不必要的目标,不用现状锁死未来,也不用追求一次制定完美标准。制定SLO的五条原则解释了先建立可用目标再调整的原则。实际运维由此成为一个控制回路:测量指标、与目标比较、决定措施、执行措施,再观察变化,见SLO驱动的运维控制回路。内部目标可以比对外承诺更严格,留出应对和重构的缓冲,见内外SLO之间留缓冲区。
过度超出承诺也可能改变依赖方的假设。全球 Chubby 服务长期极稳定时,其他服务开始把它当成永远可用,真实故障的连带影响反而扩大;团队用受控停机暴露这些隐性依赖,见过度可靠会制造危险的安全假象。这个案例强调依赖设计应依据明确承诺,不能把一次长期良好表现当成永久保证。
第5章 减少琐事
琐事指维持服务时不断重复、可被自动化或由设计消除、没有持久改善的劳动。原书从手动性、重复性、可自动化、战术性、没有持久价值、随规模线性增长六个属性辨认它;不要求每项全中。行政流程开销与能带来长期价值的艰苦清理工作不等同于琐事,详见琐事的六个判定特征。SRE 的软件工程和系统工程则产生持久改善,连同琐事、流程负担构成工作分类,见SRE工作的四种类型。
减少琐事要看时间分配及其结构来源。六人轮值中每人承担主、副值班各一周,潜在占用为2/6;八人则为2/8,见轮值排班决定琐事占比下限。团队均值还会掩盖有人没有值班、有人长期被中断淹没的差异,因此必须观察个人负荷,见琐事平均值掩盖个体差异。工程工作在长期内至少占一半,目的是让团队用今天的投入减少明天的重复劳动。
少量熟悉的重复任务可以给人满足感,问题在于过量挤占工程项目并损害发展与士气,见少量琐事无害,过量才是问题。若团队不断默默接手,还会把“这类工作由SRE承担”变成他人的默认预期,进一步积累琐事,见轻易接手琐事会开创坏先例。此外,“需要判断”不自动排除琐事:如果复杂判断只是在弥补系统设计缺陷,重构完成前逐个响应仍然属于琐事。依赖判断的告警仍是琐事来自本章脚注;该 EPUB 将其集中收在第9章源文件末尾,内容仍承接这里。
第6章 分布式系统的监控
监控把运行行为转成可以判断和调查的数据。现象回答什么坏了,原因回答为什么坏了;同一数据库变慢,对数据库团队是现象,对网站团队可能是原因。把两者分清有助于围绕用户影响报警,把诊断细节留给调试,见现象与原因的区分是监控信噪比核心。黑盒从外部观察实际行为,白盒读取内部指标,能发现重试掩盖的问题和正在积累的风险,两者互补,见黑盒白盒监控的互补边界。一次故障还可能同时存在多个可修复的根源,不能找到一个缺陷就停止分析,见一次故障可有多个根源问题。
用户可见服务的四个黄金指标是延迟、流量、错误和饱和度。延迟需区分成功与失败请求,饱和度要关注资源到达极限之前的性能下降,见四个黄金指标。错误又包括显式失败、成功状态码中夹带错误结果、以及超过策略时限的失败,检测点应覆盖这些不同形式,见错误分为显式隐式与策略性。延迟直方图能区分整体变慢与少数长尾,按指数增长的区间分桶有助于显示分布,见用指数分桶直方图看长尾;采样精度则应由诊断需要和成本决定,也可以在进程内高频采样、对外低频汇总,见按需选择度量精度。
报警不是数据越多越好。值得立即打扰人的警报应对应明确影响,需要及时可执行的动作,确需人的判断,并避免多条描述同一问题,见好警报的四个必要条件。规则尽量简单、具体、可理解,避免复杂的自动猜因与依赖推断,见监控规则宁简单勿魔法;不再被页面或警报使用的数据和配置应定期清理,见监控配置要定期删减。
Bigtable 警报过多时,团队临时调低目标、关闭邮件警报,以腾出修复根本问题的时间;Gmail 对临时自动化补丁的争论则揭示了担忧:缓解眼前压力会不会让真正修复永远失去优先级?短期忍受降级换长期修复保留这组取舍。监控只有与能改变系统的工程工作连接起来,才会减少长期救火。
第7章 Google 的自动化系统的演进
自动化把已知步骤交给程序一致地执行,降低重复操作中的错误,还能形成可修复、可扩展和可观测的平台,见一致性是自动化的首要价值。价值也不只在省下几分钟:操作封装后不再依赖原来的专家亲自执行,见自动化的隐藏价值是操作与执行者解耦。但自动化不是万能药。部署的高层抽象可能掩盖安装、推送、启动与验证之间的失败状态,见部署抽象会泄漏中间状态;外部维护且很少运行的故障转移脚本又容易随系统变化而腐烂,见罕见执行的自动化最脆弱。
书中以五阶段描述从手工、个人脚本、通用外部自动化、系统自带自动化到自治系统的演进,见自动化五阶段演进模型。MySQL 迁入 Borg 后更频繁地移动实例,人工切换无法满足停机预算,团队转而承认故障必然发生,用自动切换缩短恢复时间,同时要求应用处理暂时错误,见用自动切换拥抱故障。Prodtest 则用真实服务测试检测配置偏差,再以幂等修复程序反复纠正,见测试配合幂等修复纠正配置。幂等意味着重复执行不会不断增加副作用,是安全重跑的重要前提。
自动化质量还取决于谁承担后果。独立上线团队一度加快交付,但服务团队不再亲自运行,改进自动化与清偿技术债的动力随之下降,见谁维护自动化决定自动化质量。评价时应同时看准确性、完成延迟和覆盖真实流程的比例,不能只看上线多快,见衡量自动化的三个维度。将操作收敛为有认证、权限控制与审计的 Admin RPC,可替代过大的 root SSH 权限,见用审计RPC取代rootSSH;按服务 API 契约把实现责任交回服务团队,又能在共同编排下保持局部演进,见上线自动化按服务契约分派。
最终,Borg 把机器集合变为资源池,重调度和自愈成为系统自身能力,而不再是一份需要人触发的补救脚本,见规模够大就必须自愈。同时要看到两个风险:人长期脱离手工操作会失去接管能力,见自动化会削弱人类的临场反应能力;自动化又能把错误迅速放大。机架退役时把空机器列表解释成“全部”,导致大范围磁盘清除;之后加入合理性检查、限速与幂等性,见空列表被当作”全部”的自动化事故。自主性需要与操作边界及恢复能力一起设计。
原书依据 · 14 处
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
- 第7章 Google 的自动化系统的演进 · 查看原书依据
第8章 发布工程
发布工程负责让源码以可重现、可追溯、可控制的方式成为线上软件。它应从项目早期与开发、运维一起设计,避免临时脚本变成长期债务,见发布工程应在项目早期介入。发布工程师提供工具与默认可用的最佳实践,让产品团队自助决定和执行发布,而不是集中代办所有发布,见发布流程由团队自助完成。频繁发布减少两版之间积累的改动,测试和定位因此更容易,见高频发布反而降低单次发布风险;这仍以适当的验证和风险控制为条件。
可重现性从密闭构建开始:固定编译器和依赖版本,不让构建机器偶然安装的软件改变结果,见密闭构建保证可重现性。二进制还应能报告构建时间、源码版本与构建标识,帮助线上问题回到确切产物和改动,见二进制应能自报构建来源。发布分支从主分支切出,修复先进主分支再挑选进入发布分支,见发布分支只接收摘樱桃;这种组合可能从未出现在主分支,所以要在发布分支重新跑全部测试并留记录,见发布分支上要重跑全部测试。
软件包可以通过哈希、签名和构建ID识别,dev、canary、production 等唯一标签则作为指向当前阶段产物的可移动引用,见用唯一标签标记发布阶段。代码批准、配置修改、版本创建和实际部署等动作按角色授权并记录,见发布操作按角色分权。部署推进速度由服务风险承受力决定:开发环境可自动快速更新,面向用户的服务先小范围后扩大,敏感基础设施可能跨数日交替推进,见部署节奏匹配风险承受力。
配置也属于发布内容,需要版本控制与评审。书中比较直接采用主分支配置、与二进制同包、独立配置包以及运行时读取外部存储四种方式;它们在一致性、灵活性和更新成本上各有取舍,见配置分发的四种模型。完整发布能力必须同时考虑构建、测试、授权、部署和配置,而不能只把最后一次复制文件当作发布。
第9章 简单化
生产软件的“乏味”意味着按预期运行,让变化可理解、可定位。可靠流程反而使研发更有信心地改进功能,见乏味是生产软件的美德。为探索未知问题而写的原型可以暂时放宽流程,但要限定保质期,明确它不会进入生产,见探索性代码要设保质期。这种边界把探索的自由与生产的稳定要求分开。
复杂度有问题本身不可消除的必要部分,也有实现手段带来的意外部分。SRE 应持续削减后者,见必要复杂度与意外复杂度。删除不需要的代码比大段注释或藏在开关之后更安全:版本控制能恢复删除,而遗留路径可能意外激活,见死代码比活代码更危险。最小 API 通过减少方法与参数让接口更易理解,集中解决核心问题,见最小API是深刻理解问题的标志。模块化则让二进制、配置和数据格式能独立演进;版本化 API 允许调用者按自己的节奏升级,见版本化API解耦更新节奏。
同样的简单化也适用于发布。一次混入上百个无关变化,性能变差时很难归因;更小批次使每步影响可以观察,作者用梯度下降作类比,见小批量发布类比梯度下降。这些措施共同缩小需要同时理解的状态空间。该源项末尾还集中存放第Ⅱ部分各章的脚注,其中关于“需要主观判断的警报仍可能是琐事”的解释在第5章展开;这里保持其真实物理出处,不将它误认为第9章新提出的工作分类。
第Ⅲ部分
SRE负责的是最终用户能否正常使用服务,而不是把on-call轮值本身当作目标。第Ⅲ部分用类比马斯洛需求的层级,把服务健康分为两种状态:先能稳定对外提供服务,再逐渐取得主动控制能力,摆脱反复救火。服务可靠度层级模型把这个层级组织成图:底部监控让团队知道系统是否正常;应急响应在发现异常后先降低准确度、关闭次要功能或导流,以缩小用户损失;事后总结和根源分析再让相同问题不必反复由人处理。
测试把事故中学到的教训变成发布前的防线;容量规划决定需要准备多少资源,负载均衡确保这些资源真正能用上,过载保护则限制资源不足时的损失。更高层的软件研发把经验固化成通用系统,产品设计则从需求和架构阶段减少可靠性风险。这些层次解释了后续章节为何从报警、值班和事故管理推进到共识、定时任务与产品设计;它们也不是要求每次事故都依次走完的操作步骤。导言中的各章预告服务于这条主线,扩展阅读只推荐灾难演习、容量规划和身份验证方向,不另造知识卡。
原书依据 · 1 处
第10章 基于时间序列数据进行有效报警
报警首先要回答何时需要人介入。在足够大的集群里,单台机器故障是常态,为每台机器叫醒工程师既不可操作,也淹没真正的服务问题;应按高级服务质量目标报警,同时保留追查到具体组件的数据,见大规模下不为单机报警。本章的Borgmon把“执行一个脚本判断是否正常”改成“先收集统一时间序列,再对数据计算规则”,同一数据可供报警和图表复用,见用时间序列规则取代探测脚本。应用通过简单HTTP文本接口暴露指标,添加监控点的门槛很低,但指标与规则分开维护后,必须检查被删除或改变的指标是否令规则失效,见低门槛埋点需配规则校验。
时间序列保存按时间排列的数值,并由变量名、任务、服务和区域等标签唯一标识;部分标签查询可选择一组序列,时间窗口则选择每条序列的一段历史,见时间序列靠标签集合命名。抓取系统还生成地址解析、抓取响应、健康检查和最近成功时间等合成指标,使目标故障与采集故障有迹可查,见抓取时生成合成指标。计数器记录累计事件,较瞬时测量值更不容易漏掉两次采样之间发生的变化,见计数器优于测量器的采集设计。计算集群错误比率时,先按状态码汇总回复速率,再汇总错误速率,最后除以全部速率;逐级生成且规范命名的中间序列让结果能复用,见逐级汇总算出错误比率。
规则暂时超限先进入等待状态,持续超过最小时间才报警;统一报警服务再负责抑制、去重、合并和路由,见报警要设持续时间并合并。为避免监控本身成为性能瓶颈或单点,本地实例收集汇总,多个全局实例继续聚合;按共同配置、数据中心网络等共同失败原因来分组,能让报警层次接近故障边界,见监控系统分层部署汇总与命运共享决定监控分组粒度。白盒指标仍看不到因DNS等问题从未到达服务的请求,所以要用主动探针从用户路径及负载均衡器后方验证服务,见黑盒探针弥补白盒监控的盲区。最后,规则和目标分离、模板库、合成数据测试与持续集成共同控制维护成本,详见监控规则也要模板化测试。
原书依据 · 12 处
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
- 第10章 基于时间序列数据进行有效报警 · 查看原书依据
第11章 on-call轮值
on-call是有人及时确认并处置生产故障的轮值安排,其严格程度来自服务目标。季度99.99%的可用性只容许约13分钟不可用,因此响应必须是分钟级;目标宽松的服务可允许更长响应时间,见SLO反推on-call响应时限。团队不能用无限增加值班时间来保证覆盖:保留至少一半工程时间、把on-call限制在约四分之一后,主副值班的安排才可推出单地至少8人、两地至少6人的实例模型,见值班时间上限推出团队规模。跨时区接力可少熬夜,却增加沟通成本;补贴也要设上限,避免激励工程师牺牲项目时间和休息来过量值班,见值班补贴设上限控制比例。
负担不仅由报警次数决定,还包含调查、缓解和事后总结。书中估计一件事件平均至少消耗6小时,因此12小时轮值至多承受两件事件;各组件报警每日中值应接近零,为偶发事件同时出现留余量,见每日报警中值应接近零。同一根因触发多条报警时应从规则源头汇总,使事件与报警比例接近1:1,而不是让值班者先做去重,见事故与报警比例应接近1:1。
压力会把人推向习惯和直觉:前三次都是误报,第四次很容易也被误判。清晰升级路径、应急流程和无指责环境能给承压者提供外部支撑,见压力下的”过度联想”与两种思维模式。反过来,长期不碰生产也会让技能和自信失衡,需要保持适当轮值频率和灾难演练,见运维压力过低同样是风险。当运维超过约一半时间时,应量化改善目标、修正报警、借调经验人员,并与研发共享后果;必要时把报警交回研发或停止支持,而非让SRE无限承担,见运维过载时把报警交回研发。
第12章 有效的故障排查手段
故障排查不是灵感比赛,而是反复提出假设并排除的过程:观察监控和日志,结合系统原理解释异常,再用现有证据或可控实验验证,见假设-排除法的故障排查流程。它需要通用方法与具体系统知识同时存在。真正的大事故还要先处理优先级:先恢复服务或限制影响,再追根因;如果继续运行会不可逆损坏数据,停止系统反而更安全,见先止血再溯源。要让接手者拥有同样的起点,每份报告都应记录预期、实际和重现方法,并进入可检索的Bug系统,而非只找熟人求助,见每份故障报告都应成为Bug。
排查的证据来自系统预先提供的观察能力。日志应能在线调级、采样和按条件过滤,避免为调查而重启或让大量日志加剧故障,见日志要能动态调级与过滤;统一请求标识则把跨组件RPC连成一条可跟踪路径,见全链路请求ID加速排障。范围很大时可以按接口用已知输入测试,或对分缩小范围,见对分法逐层缩小故障范围。资源消耗问题可连续问系统正在做什么、消耗在哪里、为什么需要这样做,逐层定位到具体代码而非直接猜根因,见“什么/哪里/为什么”三问定位资源消耗。最近的版本、配置和流量变化通常值得优先检查,所以变更记录应与监控时间线对应,见先查最后一次修改。
同时发生不是因果关系:丢包和磁盘损坏可能共同来自供电故障。App Engine案例中,merge_join增长与延迟上升也只是伪相关,见相关不等于因果的排障陷阱。关注错误现象、不能安全验证、过早怀疑极罕见原因或固守旧问题,是三类常见陷阱,见排障的三类常见陷阱。验证实验要考虑互斥性、先验概率、风险、结果是否受测试位置误导以及副作用,并保存操作记录,见设计排障测试的五个考量。失败的实验也应公布,因为它能告诉后来者边界和哪些路不值得重走,见负面结果同样值得公布。这些方法缩短调查时间,却不保证每次都能重现复杂生产故障。
第13章 紧急事件响应
紧急事件响应首先是控制人的行为:保持冷静,承认自己何时需要帮助,尽早扩大协作范围,见别慌且主动扩大求助范围。本章用三个事故说明,严密评审与熟悉的自动化仍会撞上未理解的边界。屏蔽一百多个数据库中的一个测试库,竟因连接库不能处理单库失联而影响关键服务;主动测试让隐藏依赖变得可见,见主动故障测试揭示隐藏依赖。但测试中回滚权限失败又延长了事故,所以大型测试必须先验证回滚本身,见未经测试的回滚等于没有回滚。
另一次配置事故通过灰度仍未触发稀有关键词组合,全球部署后才造成崩溃循环。这说明“看起来低风险”受实际覆盖输入限制,见低风险变更评估可能漏掉稀有参数组合。分发限速可能延缓坏配置传播,却不能替代完整测试,见限速分发配置延缓崩溃。同时,带外通信、生产专线和命令行访问提供了独立恢复通道,必须维持可靠并经常练习,见带外通道须可靠且常演练;若调试和沟通工具也依赖出问题的服务,就可能失去修复能力,重复报警还会挤占沟通渠道,见排障工具不能依赖故障系统。
磁盘误擦事故里,导走流量相对快,恢复却暴露TFTP、最低QoS、BIOS行为和装机并发限制:小规模可行的重装过程未必支持全局重建,见大规模重建暴露恢复瓶颈。三个案例共同支持主动设想断电、数据中心下线、关键人员不在场等极端条件,并在关注度高、同事齐备时受控演练,见主动想象极端场景来测试韧性。演练不是假定一切都会按预案发生,而是用真实失败补充系统与恢复路径的知识。
第14章 紧急事故管理
事故管理要解决的不是谁技术最好,而是多人如何在压力下共同工作。同一个故障,没有流程时,主修者不断操作而无暇考虑其他缓解手段,外界不知道进展,热心同事又独自改配置,最终进一步崩溃;这两种失控分别见主修人无暇顾及协调沟通与未协调的善意帮忙比不作为更危险。因此要拆分角色:总控组建团队和分配任务,事务处理团队统一操作系统,发言人处理通告,规划负责人处理后勤和记录。边界清晰后,每个人不必猜同事正在做什么,反而更能自主行动,见明确职责分离带来自主行动的自由。
一个可靠且留痕的沟通场所,把所有参与者连接起来;实时事故文档则保存最新状态、已采取措施和下一步,使新加入的人迅速进入现场,也为事后总结留下证据。文档工具不能依赖正在修复的服务,见维护实时事故状态文档。事故持续跨班时,总控应讲清现状、公开明确交接,并在接任者确认之前继续承担责任,见总控交接须明确确认。
流程应早启动:需要第二个团队、已影响最终用户、或集中排查一小时仍无解,任一条就足以正式宣布事故,见宣布进入应急状态的三条触发标准。平时可在跨团队和跨时区的常规变更中反复使用同样框架,保持熟练,见应急能力靠日常小规模使用维持。控制影响同时保存现场、事先准备、信任分工、觉察压力并求助、重新评估优先级、练习和轮换角色,共同降低恢复时间与人的负担,见事故管理的七条实践。
第15章 事后总结:从失败中学习
事后总结把一次事故转成可供组织学习的书面记录:影响、采取的缓解措施、根本原因,以及防止重现的任务,见事后总结要协作并广泛传播。它的前提是对事不对人:参与者基于当时信息做出了自认为正确的选择。指责会让人隐藏细节,反而失去改进系统与流程所需的证据,见对事不对人为何能改善系统而非人。为了避免临场争论是否值得写,应预先定义用户影响、数据丢失、人工介入、耗时超限和监控漏报等触发条件,见事后总结的量化触发标准。
写完不代表完成。评审须检查关键数据、影响范围、根因深度、后续任务优先级和经验传播;定期会议为每份草稿提供第二双眼睛,见未经评审的事后总结等于没写。协作编辑、开放评论与通知便于补全信息,初审后应传播到所有可能受益的团队,再形成可检索资料;可识别个人的信息不应写入传播材料。
这种文化需要持续可见的支持。TGIF大会中,工程师因迅速回滚、沉着处理并诚实讲述事故获得奖励和掌声,传递了“正确处理问题值得肯定”的信号,见公开表彰诚实报告事故的人强化文化。最佳总结分享、阅读会、讨论组和角色扮演让旧事故继续服务新人学习;逐渐引入流程并用成功案例证明收益,见培育事后总结文化的做法。模板元数据和汇总工具则把单篇根因提升为跨事故模式,问卷还能发现总结流程本身是否增加无效琐事,见汇总分析事后总结找共性。这为下一章的持续故障跟踪提供基础。
第16章 跟踪故障
重大事故的事后总结只覆盖一部分现实:那些单次影响小、却频繁占用人的故障也会累积成本。故障跟踪系统要把原始报警变成可统计、可分析的故障记录,才能建立基线、比较团队和时间趋势,并识别最值得加固的基础设施,见用故障历史找系统问题。一个网络故障往往让许多服务一起报警,因此必须把多条信号聚合成一个真实故障,避免把报警数量误当事故数量,见报警聚合为故障。
工具从已有工作流接入:中央升级服务记录报警是否被确认,超时沿主副值班等路径继续通知;最初只接收值班邮件抄送,降低推广成本,见无人响应的报警自动升级。Outalator按时间汇总队列、邮件与重要回复。用户可自由打标签,冒号自然构成原因或Bug命名空间;不急于强制统一词表,使团队先愿意记录,再从积累数据中找模式,见用自由标签给故障分类。
同一份记录可以生成值班交接邮件、每周生产评审报告,也能让团队看到上游故障;虚设队列还可留下特权账户操作和非幂等任务执行的审计痕迹,见故障记录兼作交接与审计。因此本章的工具不是单纯的报警收件箱,而是让处置历史进入后续决策的数据入口。
第17章 测试可靠性
测试降低的是变更带来的不确定性:变更前后同样通过的测试,证明系统某些方面保持一致,却不能证明整个系统永远稳定。改动过多、预测接近可靠性极限时,应暂停新变更,等待监控与覆盖数据验证新路径,见测试降低变更的不确定性。监控只能在问题进入生产后发现异常;系统测试若在发布前截住同一个Bug,就消除了它对生产的修复时间,书中称之为“0 MTTR Bug”,见测试能拦截监控才能发现的问题。
测试应按对象组合。单元测试检查独立函数或类,集成测试验证模块组装,系统测试端到端评估完整系统;先冒烟再运行昂贵的性能和回归测试,见传统测试的三个层级。生产测试还要核对实际配置与版本库是否一致,避免二进制默认值、预处理器和运行时隐式行为躲过检查,见配置测试核对生产与仓库;压力测试找出不能优雅降级的临界点,见压力测试找出崩溃边界。金丝雀发布是结构化验收,其错误可从单次请求逻辑错误逐步升级到破坏后续数据、难以重现的高阶错误,不能只按流量线性估计一切Bug,见金丝雀测试的错误等级分类。
没有测试的旧项目应按业务重要性补起:关键代码和对外API优先,先建冒烟测试,再把每次Bug变成修复前失败、修复后通过的回归用例,见从最关键处补测试。持续构建失败应立即修复,才能让后续改动与紧急发布保持可用,见构建失败须立即修复。随机测试要记录动作顺序或种子,多次重跑而非凭单次成功判定修复,见随机测试要记录种子重跑。测试若慢到人已转移注意力,反馈效用就降低;大规模测试套件也要求单项极低误报率,见测试要在走神前给出结果。
高频小发布的价值在于中间版本也有反馈,问题更容易对应到具体根因,而非仅让次数变多,见高频小发布比年度大发布更可靠。配置变更同样要区分低频应急参数与高频更新数据,明确测试、应急放行和事后留痕,见配置文件只能二选一;配置格式则应可校验并限制加载耗时,见配置格式要限定加载时间。高危工具要通过副本隔离、执行前检查和健康检查构成防护,见危险工具的三层防护边界设计;发现异常的工具不应擅自“修复”并删除用户数据,见工具发现异常只报不修。已知请求既能作发布测试也能作生产探针,因为后者走的是实际前端、后端和版本组合,见已知请求兼作生产探针。
原书依据 · 16 处
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
- 第17章 测试可靠性 · 查看原书依据
第18章 SRE部门中的软件工程实践
SRE开发工具,是为了让服务规模增长时不必按相同比例增人。他们了解生产失败模式,又直接使用工具,能得到高质量反馈,见运维者最适合写运维工具。本章以容量规划工具Auxon说明这种工程实践。传统计划只写某集群要多少CPU,一旦资源供给或产品需求变化,数字背后的理由已丢失。基于意图的规划保存服务真正要满足的可靠性、冗余和地理约束,再重新计算分配,见基于意图而非具体数字做资源规划。
意图可从“指定集群要50个CPU”,提升到“区域内任意三集群”“每区N+2冗余”,甚至“99.999%可靠性”;更高抽象给求解器更多选择,但多数服务在表达冗余与需求的层次收益最大,见意图表达的四个抽象层次。要落成资源分配,还需要依赖关系、需求到资源的性能换算和短缺时的优先级,见表达意图需三类信息。Auxon把这些要求与预测、供给上界及价格目标组成混合整数线性规划,输出分配计划和无法满足的要求,见容量规划化为线性规划。
工程实现不必等到一切明白:团队先用启发式“傻瓜求解器”建立真实体验,再通过分离接口替换实现,见用简化近似方案代替等待完美设计。输入预测、监控和执行工具保持可替换,用户不必为了Auxon全面换工具,但也不追求为所有团队无限定制,见工具应对数据来源保持不可知。混合通才与专家、在已有实用成果时引入领域知识,有助于避免设计盲点,见通才起步适时引入专家。
内部工具仍需产品工作。先找没有现成方案的用户,控制最小产品承诺,提供早期支持,再用量化案例积累采用意愿,见内部工具先找没方案的团队。可信度建立慢、损失快,可靠性标准不能因为内部工具而降低,见可信度积累慢,流失快。是否长期投资,要看明确收益、组织方向、用户能力和迭代空间,过于专用与过于抽象都危险,见判断工具值不值得做大。开发者应继续参与生产和值班,保持一线判断,同时获得不受打扰的开发时间,见写工具的SRE仍要值班。
原书依据 · 12 处
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
- 第18章 SRE部门中的软件工程实践 · 查看原书依据
第19章 前端服务器的负载均衡
负载均衡首先要定义“最优”。搜索用户需要低延迟,视频上传更关心吞吐和一次成功;跨数据中心按用户体验选位置,数据中心内部则更关注利用率与避免单机过载,见最优分配取决于请求类型。因此分流不能只选物理最近的位置,还要考虑容量、健康和流量特征。
DNS是在建立连接前进行的粗粒度选择,但权威服务器常看到递归解析器而非用户地址;一个解析器代表的用户数量不固定,缓存又受TTL约束,无法让改动立即生效。EDNS0、持续估计用户分布可以缓解部分问题,却不能消除这种中间层限制,见DNS负载均衡的固有局限。由于DNS回复容纳不了全部后端地址,还需虚拟IP作为稳定入口。VIP由多台设备共享,隐藏后端数量与维护变化,网络负载均衡器再把包送给真实服务器,见虚拟IP隐藏后端细节。
同一连接必须到同一后端,因此要么维护连接状态,要么按连接标识映射。普通取模在后端数量改变时会重映射几乎所有连接,一致性哈希只让少量映射变化,可在压力高时减少连接跟踪成本,见一致性哈希避免连接重置。选好后端后仍要转发数据包:NAT要保存连接状态,改写MAC配合直接回复要求同广播域,GRE封装可跨路由但增加包长并可能触发MTU分片,见转发数据包的三种方式。选择与转发是两个相关却不同的问题。
第20章 数据中心内部的负载均衡系统
数据中心内的容量由最忙后端决定:它先到上限,其他后端的空闲资源就无法兑现成服务能力。预留1000个CPU却只能用700个,正是负载分配不均造成的浪费,见负载不均就是容量浪费。单靠客户端活跃请求上限既可能放过已过载后端,也可能把长请求但仍健康的后端全判为坏,见并发上限难辨慢与坏。后端应能声明“跛脚鸭”状态:继续完成在途请求,但要求停止新请求,使维护与发布形成可控的排空过程,见跛脚鸭状态实现无损下线。
每个客户端连接全部后端会耗费内存与健康检查CPU,所以把连接范围限制为子集;大小要考虑客户端数量和突发并发,见用子集限制连接数量。随机选择子集在大规模下依然可能严重不均。确定性算法按轮重排后端、均匀分配子集,让每个后端在一轮只分给一个客户端,同时用不同轮的重排减少共同故障造成的集中压力,见确定性算法均分子集。
连接数均匀还不够,请求速率、请求成本、机器性能与坏邻居都可能使简单轮询失衡,见轮询失衡的四个原因。单个请求特别昂贵时,可以用分页限制工作量,但客户端改造和分页期间的数据一致性需要同时处理,见分页限制单请求成本。最闲轮询按活跃请求数选后端,却会把快速返回错误的坏后端误认作最空闲,形成“地漏效应”;最近错误也要计入决策,见最闲轮询要防地漏效应。加权轮询进一步由后端回报请求速率、错误与CPU使用率,客户端按估计能力调整权重,以弥补只看自身请求的视野不足,见加权轮询依据后端反馈。
第21章 应对过载
过载处理的目标是资源不足时仍保住能完成的有效服务。请求数不能稳定表示工作量:一次版本或客户端变化就可能改变每请求成本,所以容量应以CPU、内存等资源定义,见QPS陷阱:用资源而非请求数衡量容量。可以先降低回复精度、缩小搜索范围或使用旧缓存,给出成本更低的结果;更严重时再拒绝部分请求,见过载时先给降级回复。在多用户共享服务里,应按协商配额隔离异常用量,而不是让超额用户拖累所有用户;配额可适度超售,但需要实时测量,见按用户配额隔离全局过载。
拒绝请求也有成本。客户端根据一段时间内发出与被接受的请求比例,自适应地在本地丢弃一部分请求,减少后端仅忙于拒绝的风险,见自适应节流让客户端自主降速。请求的重要性应从业务入口沿RPC链传递,先舍弃可丢弃的请求;重要性与延迟敏感度不同,例如搜索联想要求快,却可以在过载时不显示,见请求重要性分级决定过载时舍弃谁。每个任务再用资源利用率或执行器活跃线程的平滑负载信号决定何时开始拒绝不同级别请求,见用执行器负载判断过载。
重试要区分少数后端暂时过载与整个数据中心都过载:前者转到其他任务可能成功,后者继续重试只会加负担,见少数过载才值得重试。每请求次数、每客户端重试比例和后端看到的重试计数共同设限,见重试的三道限制;调用链只由被拒绝层的直接上层重试,并传播“过载,无须重试”结果,防止层层重复放大,见只在拒绝的那一层重试,避免重试风暴。连接池、健康检查和突发建连也消耗资源,批处理可通过专用代理隔离冲击,见连接本身也会造成过载。即使负载均衡失灵,每个任务也应接收自己能处理的份额并优雅拒绝其余,既不崩溃,也不一口气拒绝全部,见过载时既不崩溃也不全拒。
第22章 处理连锁故障
连锁故障是正反馈:一小部分容量失败,流量转向其他部分,后者过载后又减少可用容量,最后局部故障扩成全局故障,见连锁故障源于正反馈。CPU不足会引起请求变慢、在途请求和队列增长,再耗尽内存、线程与文件描述符;表面症状很容易被当作根因,见资源耗尽的连锁副作用。Java前端的GC、缓存命中与后端资源还会互相影响,CPU越少、内存越高、GC越频繁,形成死亡螺旋,见GC死亡螺旋:资源相互依赖的级联恶化。崩溃后只有少量实例正常,降低到原来可承受的负载也未必足够;必须先降到剩余容量可承受的水平,逐步恢复,见崩溃后降负载到远低于崩溃点才能恢复。
防线需要结合压测、低成本降级、尽早拒绝、上层限流和容量余量,而容量规划只能降低发生概率,见防过载的五种手段。稳定流量下长队列通常只把拒绝推迟成超时,队列应短于线程池,突发系统再按具体分布计算,见队列宜短于线程池。流量抛弃优先避免做已经失去价值的工作,LIFO或CoDel可以减少过期请求拖累资源,见流量抛弃先丢不值得做的。降级要有明确触发指标、简单动作和开关,平时定期压测让这条不常运行的路径真正工作,见降级模式也要定期演练。
重试是最危险的放大器之一:仅比容量多一点的原始流量会因失败重试逐秒叠加,成功产出反而下降,见重试把小过载放大成崩溃;多层各重试三次时,总计四次尝试相乘可把一次用户操作放大成64次数据库请求,见多层重试的指数放大效应。随机指数退避、次数上限和全局预算必须合用。截止时间也要沿调用链传递剩余预算,并取消无用工作,见截止时间传递避免处理已被放弃的请求;超时若远大于正常延迟,少量永不返回的请求就会占满线程,所以还要看延迟分布、快速失败与客户占用限额,见截止时间别远超平均延迟。
冷启动时必须分清缓存只影响延迟还是决定能否扛住负载;容量依赖型缓存需要慢慢导流和预热,见分清延迟缓存与容量缓存。同层实例互相代理又可能让同一线程池既等待对方又处理对方请求,调用关系宜一直向下,选错后端就报错让客户端重选,见保持调用栈永远向下,避免分布式死锁。更新、自然增长、依赖失效、请求特征漂移和超卖CPU消失都可能触发雪崩,见连锁故障的常见触发点。
压测不能只记崩溃点,还要测试突然加压、正确性、降负载后能否恢复,见压测到崩溃还要测恢复;最大客户的重试行为和非关键后端迟迟不返回也应测试,见测试大客户与非关键依赖。事故中可增加资源、暂停错误的健康检查、针对性重启、丢弃流量、降级或停批处理,但要理解前提并修复触发原因再加回流量,见连锁故障的应急手段。本章最终提醒:重试、自动转移、自动杀坏实例和缓存等常态优化,在灾难中可能反而放大故障,设计评估必须同时考虑两种状态,见优化常态可能放大灾难。
原书依据 · 19 处
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
- 第22章 处理连锁故障 · 查看原书依据
第23章 管理关键状态:利用分布式共识来提高可靠性
分布式共识让一组可能失联或重启的进程,对领头人、成员、锁、队列消息或关键值达成一致。需要这些功能时应采用有正式证明且充分测试的实现,见关键状态交给共识系统。心跳超时不能区分网络慢与机器死,互相强关对方并转为主节点可能导致脑裂或两边停机,见心跳超时无法正确实现领头人选举。改为不确定时全部交人工虽然能避免数据丢失,却牺牲可用性并限制规模,见共识缺位就只能人工切换;谣言发现成员也不能代替一致成员关系,许多协调问题最终都回到共识,见多数协调问题本质是共识。网络分区发生时,可用性与一致性存在取舍;最终一致若把过时数据的判断交给应用,往往使开发者承担复杂易错的补救逻辑,见最终一致把复杂度转嫁给了应用开发者。
理论上,完全异步且可能失败的系统不能保证在有限时间内达成共识;工程上依靠健康多数、网络条件和随机退避获得实用进展,见异步共识无法保证有限时间。Paxos的准备与提交两阶段借序列号及多数派交集维持安全,接收者要把承诺持久化,见Paxos两阶段与多数交集。单次同意一个值仍很底层,因此应用通常使用Chubby或ZooKeeper式服务来获得配置、锁和选举,免去自己运维共识副本的负担,见共识应作为服务而非库。复制状态机让副本按相同顺序执行确定性操作,从而复制出一致状态,见复制状态机。在其上还可提供领头人选举、屏障和可续期租约锁,见共识之上的三种协调原语;可靠队列用租约领取任务,原子广播保证所有参与者按相同顺序处理消息,见可靠队列与原子广播。
可用性还依赖性能。稳定领头人可省去重复准备阶段,也减少提议者互相打断的活锁,选举需调好超时与随机退避,见稳定领头人避免提议者决斗。读到旧数据有时只会多做工作,可以放宽读取;需要最新值则可做只读共识、读稳定领头人,或用法定租约换取本地强一致读,见强一致读的三种做法。写性能受网络往返和持久化写盘限制,可用批处理、流水线、日志合并与代理池改善,见共识写性能受网络与磁盘限制。Fast Paxos减少跳数却可能让客户端等多个远程长尾,不能仅据协议名判断更快,见快速Paxos未必更快。
副本数量必须按故障、维护、成本和性能选择:多数派模型下2f+1副本容忍f个失败,关键服务常用5副本为维护再遇故障留余量,见副本数按故障与维护选。增加到6副本时多数票由3变4,能容忍的失败比例反而下降,因此要重新算仲裁条件,见增加副本数反而可能降低可用性。副本放远扩大故障域隔离,却增加延迟;软件Bug和人为错误仍需独立备份,见副本位置权衡故障域与延迟。领头人若聚在一个数据中心,故障时同时迁移会引起带宽剧变,见领头人进程聚集埋下网络流量剧变风险;成员距离差异大的拓扑也可考虑层级仲裁,避免某个连接副本失效便使延迟激增,见层级仲裁减轻关键副本依赖。
监控要看实际成员健康、落后副本、是否有领头人、视图变化、交易编号进展、吞吐与延迟,而不只看进程存活,见共识系统的监控要点。若多数副本失联,剩余副本无法证明拥有所有已接受状态;强制重配置可能丢数据,必须由管理员在等待恢复与风险操作之间判断,见多数副本失联时的强制重配置。共识既是应用的基础能力,也是需要明确容量、监控和灾难策略的生产服务。
原书依据 · 22 处
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
- 第23章 管理关键状态:利用分布式共识来提高可靠性 · 查看原书依据
第24章 分布式周期性任务系统
周期任务并非都能接受相同失败语义。垃圾回收常可重复,邮件发送可能不能重复;频繁清理可以偶尔跳过,工资计算却不能随意遗漏。Google Cron在允许的条件下倾向于不确定时漏跑一次而不冒重复执行风险,因为遗漏通常比重复副作用更容易补救,这种失效关闭的偏好见周期任务宁可漏跑不可重跑。
从单机Cron搬到数据中心后,调度进程可能迁移、局部状态丢失、资源不足延迟启动,一次启动还可能涉及多个RPC的部分成功。因此需要记录任务全过程、热备与外部状态语义,而不是仅复制配置文件,见分布式Cron的新约束。本章实现尽量自己维护少量关键状态,减少对分布式文件系统的依赖,让基础服务在部分基础设施故障下还能运行,见基础服务的依赖越少越好。
多份调度副本用Paxos保持一致,由领头人执行启动。一次任务启动先同步“将要启动”,多数确认后才真正操作,完成后再同步结果;失去领导权后必须停止操作任务系统,避免新旧领头人冲突,见启动前后各同步一次。即便如此,RPC可能已生效而本地还没记下结果,所以每次运行要用启动时间唯一标记,并要求外部操作幂等,或能无歧义查询是否成功,才能安全接管,见故障切换下避免任务重复。这说明共识保证调度状态一致,却不能自动替外部副作用提供恰好一次语义。
追加日志需要快照压缩。副本各自保存日志和快照,快照再远程备份,新副本从同伴拉取恢复数据;日志与快照的丢失代价不同,存储策略也不同,见日志靠快照截断并分层保存。最后,许多团队习惯把任务配在午夜,集中启动又会制造惊群。crontab的问号允许系统选择任意合适时间,给调度器打散负载的自由,但必须精确定时的任务仍会留下峰值,见用问号打散整点任务。
第25章 数据处理流水线
数据处理流水线把输入变换为输出;单相流水线由一个程序完成,多相流水线把前一步输出交给下一步,深度就是串联程序数量。这种拆分主要帮助理解逻辑,并不保证更高效率,见单相与多相流水线。本章真正要改变的是把持续增长的业务当作一个周期任务的习惯:数据增多以后,最大分块决定完成时间,卡住后全量重启又会丢掉已完成工作,原来调好的参数就逐渐失效,形成周期流水线随数据增长变脆所说的脆弱性。
低优先级批任务依赖其他业务留下的资源空隙,启动时间不稳定。缩短执行周期并不能消除排队,反而可能造成重叠和相互取消;执行间隔不能低于调度延迟说明周期必须考虑调度延迟。若指标只在完成后提交,失败任务恰好没有统计信息,周期任务失败时没有指标指出监控要覆盖运行过程。大批进程同时启动和重试会形成惊群,多条流水线即使单独看都正常,也可能在共享资源上叠出危险峰值,惊群与摩尔负载模式把这种摩尔负载模式与单次惊群区别开来。
Workflow是书中解决持续处理问题的系统:主任务保存状态和持久日志,无状态工作进程领取工作,控制器管理伸缩、快照与停止,Workflow的MVC分工解释这套MVC分工。正确性依赖配置屏障、当前租约、唯一输出文件名和主任务令牌;即使旧进程仍在运行,也不能提交过期结果或覆盖正常输出,见Workflow四重正确性保障。跨数据中心时,全球系统只保存任务引用与心跳,本地系统处理数据,引用无法正确移除时先停下来,心跳失效才由远端接管,全局引用保障流水线续跑解释了为何续跑必须同时保住任务归属。这里的结论并非取消一切周期任务,而是当问题本身已持续化时,应把状态、重试和恢复设计进持续处理模型。
第26章 数据完整性:读写一致
数据完整性首先要从用户能否访问自己的数据理解:数据仍在磁盘上而界面始终显示为空,对用户也没有实际价值;主动发现损坏并及时修复,才能维持可访问性,见数据完整性的本质是可用性。这并不意味着完整性可以直接照搬可用性百分比:允许少量字节损坏就可能令整个数据库无法加载,完整性要求远高于可用性说明两者损失单位不同。云应用又常把内容、元数据和缓存分散到不同存储,单个存储一致不能保证跨存储引用正确,多存储混用会破坏引用完整性解释了应用层仍须验证的原因。
备份的目的在恢复。存档偏重长期保存、审计和取证,备份则必须能在服务要求的时间里被应用重新加载,区别见备份与存档的区别在于能否被重新加载。因此团队要承诺不同失败场景下的数据可用性目标并演练,而不能只交付一个定时备份任务,见交付恢复能力而非备份任务。设计恢复方案时要交叉考虑丢失根源、影响范围和发生速度,数据丢失的二十四种组合用二十四种组合防止只准备显眼的大事故。难以实现任意时间点恢复时,可用高频短期快照与低频长期备份分层补足,时间点恢复难则分级备份强调恢复能力应进入存储选型。
第一道防线是延迟真正删除:用户回收站、应用软删除和存储懒删除分别拦截不同角色的失误,且要让接口默认启用,见分级软删除构筑三层防线。复制主要保护部署点故障,却会把错误删除同步到所有副本,复制不是备份,同源故障会污染所有副本说明它不能替代独立备份。备份越跳出原来的故障层,通常越不新鲜、恢复越慢,越底层的备份越不新鲜解释这项取舍;分级备份的保留策略则把频率、位置和保留期配合起来。恢复所依赖的冗余系统也要经得起日常使用,而不能仅在罕见灾难时首次接受检验,见冗余系统要选常用的。
海量数据使暴力全量校验失效:应对不再变化的数据建立可信点,对变化部分增量验证,再分片并行,见海量数据校验靠”可信点”加分片,而非暴力遍历。错误引用和坏数据会随更新扩散,发现越晚越难恢复,脏数据会随时间扩散说明早期预警为何必要。带外校验独立检查应用数据,但规则应针对用户无法承受的破坏,过严会阻碍正常演进,过松又漏报,见带外校验只查毁灭性问题。任务管理、报警、限速和排错工具可由中央团队做成框架,业务团队维护产品特有规则,校验框架由中央团队提供给出这种分工。
恢复流程必须真的运行:检查备份非空、资源充足、后处理能完成且耗时达标,上次成功不能证明下次仍然成功,见只有真恢复过才算能恢复。Gmail磁带恢复体现了不同媒介作为最后防线的价值,磁带是防同层故障的底线也说明预先演习让恢复时间可估计。Google Music案例把增长与正确性联系起来:阶段间隔三小时的假设随数据变大失效,出现数据竞争和误删除,见阶段间隔假设会被增长打破;实际恢复又涉及磁带调运、任务批量提交、缺失与坏带处理,是海量恢复是一场后勤战描述的后勤工程。本章最后以初学者心态、信任但验证、拒绝一厢情愿、纵深防御和定期重审收束,数据完整性的五条理念把目标落到“证明能在限定时间恢复,并持续缩短时间”。
原书依据 · 21 处
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
- 第26章 数据完整性:读写一致 · 查看原书依据
第27章 可靠地进行产品的大规模发布
新产品发布把未验证的软件、未知公众流量和多个团队的截止日期集中到一起。发布协调工程师LCE是跨产品积累经验的专职角色,负责可靠性评审、协调依赖、跟踪任务、判断风险并培训研发,见发布协调工程师的角色。流程要同时轻量、稳健、完整、可扩展且能适应新场景;过于繁琐的流程会被绕开,发布流程的五个特征因此要求根据实际风险定制。检查列表也必须控制增长,只加入重要、具体、能在合理时间完成的条目,见检查列表膨胀需要门槛管控。
可靠发布依赖可复用的基础设施。把限速等能力做成共同构建单元,就能把长篇要求变成采用已验证组件的明确动作,见标准化基础设施把检查项折叠成一句话。这种简化来自持续观察多次发布的痛点;高频发布才有机会打磨出好流程说明高频实践才提供打磨流程的样本。进入移动客户端等新领域时,控制代码和修复速度的条件都变了,必须和领域专家重写有关条目,而不能直接照搬服务器经验,见新领域要重写检查列表。
容量要覆盖发布初期的尖峰、冗余和资源准备周期,而不是仅凭稳态预测,发布容量要按尖峰准备解释了单区域首发和预留容量的作用。发布计划还要给每步指定负责人、识别外部依赖,并准备延期或失败的退路,见发布计划要备好退路。将变更先用于少量机器或用户,观察后逐级扩大,是灰度发布逐级放大的灰度发布;功能开关进一步把代码分发与功能启用分开,必须支持分组路由、独立关闭、兜底和效果度量,见功能开关框架的要求。
自动客户端比人工点击更容易放大负载:同步频率、错误重试和同一时刻更新都需要约束。自动请求必须加抖动解释指数退避仍须加入抖动,避免所有客户端再次同步。客户端修复难以立即普及,所以应保留服务端下发配置的控制能力,提前分发代码、按配置启用和停止功能,见服务端下发配置控制客户端。过载时缓存、错误处理和调试日志会改变资源曲线,理论上难以推断临界行为,过载行为难以预测要压测要求真实压力测试。风险较小、无新二进制且流量变化有限的发布可走简化检查,见低风险发布走简化检查。最后,发布协调无法独自解决基础设施持续变动带来的维护压力;提供不兼容变更的一方应同时提供自动迁移,基础设施变更须自带迁移把迁移成本纳入基础设施责任。
原书依据 · 15 处
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
- 第27章 可靠地进行产品的大规模发布 · 查看原书依据
第Ⅳ部分
前面的实践篇讨论了系统如何运行,这一部分转向让系统长期得到可靠维护的人与组织。作者把培训、中断管理、过载恢复、团队协作和服务接手放在一起,是因为SRE的工程时间和判断能力要靠团队制度保护:新人必须能逐步承担责任,成熟成员不能始终陷在救火和随机工单里,团队之间还需要可持续的信息反馈。
本导言没有另立独立机制,它所预告的问题分别在on-call前的准备度路径的准备度路径、上下文切换的隐藏成本需要”极化时间”的极化时间、嵌入SRE的三个阶段的嵌入式改善、团队接口像API一样设计的团队接口和SRE参与的三种模型的参与模型中展开。它还推荐系统工程与招聘资料,提醒可靠系统需要软件开发、系统分析及组织技能的混合;这些推荐在本导言没有展开为具体招聘方法,因此保留导引和文献登记,不另造知识卡。
第28章 迅速培养SRE加入on-call
培训的结果是新人能安全承担on-call,而不是单纯做过足够多的工单。随机把工单交给新人会让他们不知道学到哪里、何时能独立值班,随机工单不是培训说明这种被动训练会淹没有能力的人。on-call前的准备度路径给出替代路径:先建立系统知识,再实践、见习,最后独立处理并由资深成员观察;加入轮值是准备度达标的里程碑。
课程可以按请求进入系统、前端、中层与基础设施的顺序安排,把文档、专家联系人和自检问题编进学习检查列表,并随学习进展逐步开放权限,见按请求路径组织课程。同时给新人一个能交付的小项目,既认识系统,也为团队作出可见贡献,用小项目代替琐事解释这比持续分派琐事更有参与感。需要培养的能力包括反向工程、统计与比较思维、遇到手册失效时随机应变,见SRE需要的三种能力。让学员自己追踪生产请求并画组件图,再与资深SRE对照,可以让知识缺口和系统新变化一起浮现,见反向工程一个生产服务。
历史故障能补足新人尚未亲历的经验:事后总结是最好的教材把优秀事后总结当教材,并通过阅读会和故障沙龙让知识流动。命运之轮用主持人提供线索、主副值班者解释动作的角色扮演训练判断,见命运之轮角色扮演演练;练习集群则允许安全地破坏与修复,先写下预测再逐步压到瓶颈,用实际现象校准直觉,见先猜后压摧毁练习集群。清单本身也会过期,所以让新人更新学习中遇到的陈旧部分、由专家评审,让新人维护学习清单把学习和文档维护连接成持续循环。
原书依据 · 10 处
- 第28章 迅速培养SRE加入on-call · 查看原书依据
- 第28章 迅速培养SRE加入on-call · 查看原书依据
- 第28章 迅速培养SRE加入on-call · 查看原书依据
- 第28章 迅速培养SRE加入on-call · 查看原书依据
- 第28章 迅速培养SRE加入on-call · 查看原书依据
- 第28章 迅速培养SRE加入on-call · 查看原书依据
- 第28章 迅速培养SRE加入on-call · 查看原书依据
- 第28章 迅速培养SRE加入on-call · 查看原书依据
- 第28章 迅速培养SRE加入on-call · 查看原书依据
- 第28章 迅速培养SRE加入on-call · 查看原书依据
第29章 处理中断性任务
运维负载不是同一种紧急程度的工作:几分钟内响应的紧急警报、等待数小时甚至数月的客户工单,以及没有明确响应目标却持续打断工作的运维活动,需要不同安排,见运维负载的三种类型。制定策略应看响应目标、积压量、严重度、频率和有能力处理的人数,中断策略看五个指标把人员安排变成有依据的选择。
工程师做复杂项目与处理反馈明确的排障任务,都可能进入心流;问题是同时兼职两种模式会让两者都被破坏,见两种心流状态不应混在一起。一次短中断还包含切出和切回项目的成本,所以应把项目与中断工作集中在不同半天、整天或轮值周期中,上下文切换的隐藏成本需要”极化时间”将它称为极化时间。具体而言,值班周不计入项目进度,见值班那周不排项目;工单集中交给明确的轮值人员,而不是随机散给全队,见随机分配工单是对团队时间的不尊重。非值班成员主动抢工单会掩盖真实工作量,让管理层误以为当前安排可持续,非值班别抢着处理工单解释了这种看似热心行为的统计代价。
集中处理还必须配交接和改进机制。轮值者如果只做临时补救,根因会在不同人之间反复出现;工单也要交接与复盘要求共享状态、定期整理警报与工单,并在能合理修复时优先解决根因。团队也应为支持范围设置边界:可以提供模板让用户自行准备、只保留最终评审,也可以将长期无维护的组件交还研发或退役,见尊重自己也尊重用户:把负担还给能承担的一方。尊重用户与保护工程时间共同服务于及时且可持续的响应。
第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复
团队长期过载时,单纯多派人清工单容易把旧模式继续维持下去。嵌入SRE的目标是改变团队处理问题的方法,经历了解现状、分享知识、主导改变三个阶段,最后留下检查报告和后续关注,见嵌入SRE的三个阶段。作者特别建议先派一位同伴式帮助者,因为多名外部人员同时进入可能加重防御心理,见只派一个人介入,而非两个,以避免防御心理。
观察不能只停留在目前最吵的警报,还要识别没有自我管理能力的新子系统、过度专业化、无人回应的警报、只加机器的容量计划等导火索,识别即将爆发的隐患说明这些现象如何预示下一轮事故。对事故的解释也要摆脱坏苹果理论:参与者通常依照当时信息作出合理判断,真正要理解的是系统在哪里误导了他们,见“坏苹果理论”在复杂系统中站不住脚。建立共同SLO是改变的第一步,它让事故后果和改进价值可以量化,否则研发和SRE没有共同评判标准,见先帮团队定下SLO。
嵌入者要让团队成员亲手完成有价值的修复,自己负责解释和评审,避免离开后团队重新失去改进能力,见带成员亲手修而非代劳。每次决策都讲清错误预算、可靠性目标等依据,团队才学得会在新情景里独立判断,见解释决策背后的逻辑,而非只给结论。同样,提问应把具体观察与SLO后果联系起来,邀请成员共同推理;质问“为什么这样做”容易被听成指责,用引导性问题代替指责性问题给出引导性问题的沟通方法。成功的产出是团队以后能自己改变,而不仅是一次短期积压下降。
原书依据 · 11 处
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
- 第30章 通过嵌入SRE的方式帮助团队从运维过载中恢复 · 查看原书依据
第31章 SRE与其他团队的沟通与协作
可靠性需要信息可靠地跨团队流动。服务状态、项目进展和责任边界可以像API一样设计,团队接口像API一样设计说明错误的团队接口会像技术接口一样带来长期成本。生产会议是其中一个反馈机制:每周固定节奏、适当时长、轮值主席和会前共同准备文档,让参与者既共享事实又承担服务所有权,见生产会议靠固定节奏和共建文档维持效率。跨地域视频会议容易放大规模差异,让较小团队主持是书中基于经验提出的纠偏办法,见让较小团队主持跨团队会议平衡话语权。
会议要覆盖计划变更、性能与资源趋势、故障、紧急和非紧急警报、旧待办;每条警报都应追问是否在合适的时间要求合适动作,研发也要出席以闭合反馈,见生产会议的默认议程。团队专业化可以降低学习负担,却容易失去全局视角,因此需要章程明确负责和不负责的事情,见专业化要配团队章程。职责划分明确有利于局部快速决策,动态角色有利于适应,但需要付出更多协商成本,见角色明确与动态的取舍。
Viceroy案例显示重复造轮子常是局部激励的结果:独立开发立即有回报,跨团队合作却更困难,基础设施只给SDK也会鼓励各造一套,见重复造轮子源于局部激励,而非能力不足。两个项目能否合并还取决于共同愿景和合适时机,共同愿景促成重复项目合并说明强行整合并不是必要条件。跨地域项目要有长期方向、共同决策方式、按地域分解的组件、评审过的设计文档与当面交流,见跨地域项目的协作要点;短期贡献者回归原团队能传播经验,但无人继续维护会稀释所有权,短期贡献会稀释所有权要求明确后续投入。
DFP迁往F1的案例把协作落实到工程边界。SRE与研发先共同评审设计,明确基础设施和业务逻辑之间的接口契约,双方就能并行工作,见先定接口契约,再并行开发两端。后期在接近生产的测试环境比较新旧广告索引输出,逐条解释和修复差异,再准备生产容量、监控与轮值培训,见新旧系统输出比对验证迁移。文档在这里既是沟通媒介,也是可验证的合作承诺。
原书依据 · 14 处
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
- 第31章 SRE与其他团队的沟通与协作 · 查看原书依据
第32章 SRE参与模式的演进历程
SRE参与的目标是改善服务的可运维性,考察架构与依赖、指标与监控、应急、容量、变更和性能六方面,见SRE关注的六个生产方面。不是所有服务都需要完整SRE团队:生产指南和短时咨询能先提供通用帮助,服务规模和被依赖程度显著提高后,才需要长期参与,见无SRE时靠指南与咨询。本章比较发布后接手、设计阶段早期参与、公共框架与平台三种模型,见SRE参与的三种模型。
生产就绪评审PRR不只是一次会议,而是接手前共同识别欠缺并推动改进的过程。先商定SLO和交接计划,再学习系统、列专属检查项、协商重构、培训、逐步交接并持续反馈,见生产就绪评审的流程。检查项来自实际服务和同类事故经验,要问更新影响面、依赖是否合理、错误是否被正确记录和监测,不能机械套表,见PRR检查列表要因服务而定。若等服务规模化后才修设计,成本很高;早期参与让可靠性进入设计、构建和发布决策,见早期参与把可靠性设计进去。隐形发布把一部分真实流量复制给新服务并丢弃响应,让团队提前积累运维经验,见隐形发布用复制流量练兵。当服务足够稳定或实际规模未达预期,SRE也可以交回研发并重新分配人力,见SRE也可以从服务撤出。
逐个PRR接手会受人力、重复实现和经验难以复用限制,微服务增加后尤其难以扩展,见逐个接手无法随服务扩展。更进一步的方案是将已验证的监控、日志、流量与过载控制做成通用服务框架,让采用它的服务自然获得部分生产能力,见把最佳实践做成服务框架。于是责任可以重新划分:SRE维护公共平台及控制系统,研发负责业务功能错误的轮值;按平台需求而非服务数量配置SRE,见平台归SRE业务归研发。这种模型把前面章节的经验转成可复用的软件,同时保留明确责任。
第Ⅴ部分
结束语部分把视野从Google内部转向其他同样重视可靠性的行业,再回看SRE自身的演进。这里的连接问题是:哪些实践源于普遍的风险管理原则,哪些依赖软件故障可恢复、产品允许快速迭代的具体条件。
这段导引不另生卡,因为真正的比较在下一章的故障代价决定变更速度中展开,而关于团队如何依靠抽象接口驾驭不断扩大的系统,则由结语的驾驶舱始终只有两名飞行员承接。两者共同提醒读者,学习经验需要先理解故障后果与操作边界,而不是只移植某一种组织名称或流程。
原书依据 · 2 处
第33章 其他行业的实践经验
本章通过来自制造、通信、航空、核能、医疗、国防、交易和救生员等行业的访谈,比较灾难准备、事故分析、自动化和决策。安全首先是组织文化:管理会议、维护细节、全员提报与明确标准共同约束日常工作,见安全文化自上而下贯彻。灾害和大型活动要求可提前部署或应急调来的冗余容量,局部热点也可能击穿整体系统,见预留冗余应对突发需求。演习则要按风险选择模拟器、线上破坏或逼真的假想事故,才能训练真实反应,见演习要逼真到难辨真假。
高危行业把未造成损失的险情也当学习机会:这次幸免可能只是运气,潜伏条件若不被纠正,下次就可能酿灾,见“差点出事”的事故同样值得深究。从实际使用与维护设备的人收集需求也很重要,因为设计者想象的操作方式并不充分;医疗和国防的设计投入体现了风险容忍度的不同,见向真实使用者收集需求。
自动化没有脱离情境的统一答案。核动力海军用多人确认的人工决策链减缓不可逆后果,见不可逆后果需要减速阀;交易行业的案例则显示自动执行会迅速放大错误配置,见自动化速度会放大配置错误。另一方面,响应窗口短到人无法及时处理时,就必须自动化,响应时限决定是否自动化给出书中英国核电的判断例子。医疗设备用输入范围校验与虹膜比对防止患者或左右眼数据混淆,用自动校验防止输入错误说明自动化也能成为操作前的保护层。这些比较强调的是错误扩散速度、可逆性与响应时间之间的权衡。
决策要明确资料来源与假设,以数据论证抵御工资最高者意见的HiPPO现象,见警惕HiPPO现象,让数据说话而非职级。演进缓慢的系统可以更多依靠既有手册,而变更则先在受控条件中实验,见稳定行业靠手册不轻易改动;交易场景还把停机与重启权交给独立风险部门,避免逐利目标侵蚀止损判断,见风险控制权应独立于逐利部门。最终,核能、民航和医疗的故障可能伤及生命,因此更保守;Google书中描述的服务则常能通过错误预算承担部分风险以加快创新,故障代价决定变更速度把可借鉴的原则落在故障代价上。这是书中历史访谈的比较结论,不代表所有行业都应采用同一变更速度。
原书依据 · 13 处
第34章 结语
结语回顾SRE在Google的成长:根本职责是保障用户服务,日常工作则会随系统规模和工程能力变化。运维与工程投入需要保持平衡,自动化、后备系统与API应当让操作对象越来越抽象,让有限人员能够维护更大系统。
作者用民航作比喻:飞机的容量、速度和可靠性不断提升,驾驶舱通常仍由两名飞行员操作,因为接口经过设计,人员经过训练,也有处理异常的准备。驾驶舱始终只有两名飞行员把这个比喻连接到SRE目标——团队保持精简,并不意味着不了解底层;恰恰需要在日常实践里理解系统原理、故障模式与应急方式。全书因此以“把复杂性纳入工程设计和训练”收束,而不是以增加响应人手作为可靠性增长的主要路径。
原书依据 · 1 处
附录A 系统可用性
附录A把可用性目标与允许停机时间联系起来,供读者把抽象百分比换成运行约束。但按停机时长计算隐含着系统要么整体可用、要么整体不可用的简化。多副本服务可能只有部分请求失败,流量又可能随时段显著变化,此时相同停机时长对用户造成的损失并不相同。
因此更有意义的度量往往是汇总全部操作后失败所占的比例,部分可用系统应该用比例而非时长衡量可用性解释这种指标怎样容纳部分可用状态。本附录的作用是提醒读者先选对度量对象,再谈有几个9;时长换算表可作为参考,不能取代基于实际用户请求的定义。
原书依据 · 1 处
附录B 生产环境运维过程中的最佳实践
附录B把全书实践压缩为生产原则。第一组是让故障可控:配置和输入必须同时检查语法与合理性,空、截断或异常缩小的数据不能直接替换有效状态,过期前也要报警。收到坏配置时应保持旧状态而非采用新数据通过DNS空配置和全网误标病毒的历史例子说明,格式正确不代表内容安全。非紧急变更应小步应用并监控,异常时先回退;每个阶段覆盖不同地理流量还有助于更早发现时段与区域差异,见渐进式发布跨地理位置能更快暴露问题。
第二组用用户视角的SLO、错误预算和可执行的监控维持反馈。预算耗尽时应暂停一般变更,成熟而高可靠的服务可适当延长核算窗口,见成熟系统的错误预算周期应该拉长。监控应明确导向立即行动、稍后工单或供分析的日志,事后总结应改善系统和工作环境。容量方面要准备冗余,把预测持续对照实际,并以新的压测验证资源和容量比例,容量预测要持续对照实际说明过去能承受的流量并不能永远照搬。
最后,过载时先提供合理的次优结果,必要时丢弃流量;客户端重试要退避并抖动,避免放大故障。组织也需要给工程工作保留时间,让研发承担必要运维,并控制每班事故负荷。可靠性提升后事故减少,技能反而可能生疏,因此仍须周期演习。这些条目是全书各章的操作性收束,四张附录卡保留了其中新增的配置、地域、预算周期和预测反馈细节。
附录C 事故状态文档示范
事故状态文档是应急过程中的共享事实面板。示例先给出事故摘要、状态编号和协调频道,再明确当前与下一个事故总负责人,以及运维、计划和沟通职责;交接或定时更新使后来加入的人能迅速找到决策与执行入口。
示例特别把退出条件写成可检查的结果:补入缺失韵文,并在一段时间内持续满足可用性和延迟目标。事故文档要写明退出条件说明结束应急需要证据,不能只凭“看起来恢复了”。待办事项区分已完成与未完成,时间线采用UTC并标明记录人、按倒序展示最新动作;它既服务当前协调,也为事后总结提供事实基础。示例中的容量操作和人物是教学场景数据,重点在结构与退出条件,而不在复制某个具体容量倍数。
原书依据 · 1 处
附录D 事后总结示范
事后总结把实时事故记录转成未来可复用的解释。莎士比亚示例区分了潜伏的文件描述符泄漏、未收录新词这一触发条件,以及流量暴涨造成的连锁故障;它同时记录用户请求损失、缓解措施、检测方式、后续待办和完整时间线。根源与触发分开,才能避免只把问题归结为一次突发流量。
经验教训又分成做得好的、做得不好的和幸运因素。事后总结记下幸运因素强调最后一栏:恰好找到新文本、日志恰好保留关键栈信息,并不都是可重复的可靠能力,记录它们能暴露下次可能失效的条件。时间线由事故管理文档补充而来,配监控、日志和聊天记录支持判断;示例最后也提醒,改进应考虑整体收益,不能为单个事故堆叠成本很高的特殊警报。
原书依据 · 1 处
附录E 发布协调检查列表
发布协调检查列表把发布风险拆成可逐项询问的对象。先用架构图和客户端请求类型认识系统,再确认物理机、带宽、数据中心、DNS与冗余。流量部分同时询问发布尖峰、组成、未来增长、压力测试和对其他服务的影响;这正是发布容量要按尖峰准备要求区分发布负载和稳态负载的实际问法。故障部分追问机器、机柜、集群或跨中心网络失效后会发生什么,以及怎样检测后端异常、重启、限速、超时、重试并恢复数据。
清单还覆盖内部与端到端监控、监控系统自身、财务日志、安全评审、访问控制和垃圾邮件风险。发布的可重复构建、金丝雀和分阶段推进对应灰度发布逐级放大;缓存、分片和十倍增长问题要求把扩展瓶颈提前暴露。第三方系统需要明确监控、流量比例与降级策略,避免自己的发布压垮合作方。最后,不能移动的日期、外部事件和双方运维流程要纳入发布安排,见发布计划要备好退路。
本附录是2005年原始检查列表的简改实例,其价值是展示如何把第27章的风险原则变成问题。它没有新增一套与正文不同的机制,故保留零新增卡;实际使用仍需按检查列表膨胀需要门槛管控控制条目增长,并按具体产品与领域调整,不能把历史清单当永不过期的审批表。
附录F 生产环境会议记录示范
生产会议示范把一次事故的后续影响带入常规工作。它先公告错误预算已耗尽,回顾旧待办,再解释新韵文事故的用户影响、已修复的Bug和预防连锁故障的剩余工作;一般生产更新暂停一个月,让事故后果真正影响发布决策。这样,会议中的信息不只是故障叙述,还会改变下一阶段的行动。
警报回顾则追问同一告警为何一周响五次、是否由跨区域复制延迟造成,并把可接受阈值的修改写成有负责人、有工单的待办。计划变更说明集群维护和自动切流,资源段落记录借用容量的归还与利用率,关键指标把延迟达标和可用性未达标并排展示,最后整理新的行动负责人。生产会议的默认议程的默认议程在这里形成“回顾—判断—行动—再检查”的实例;生产会议靠固定节奏和共建文档维持效率所要求的共建文档则使这种会议能持续运行。
本附录没有另生卡,因为它是在同一个教学事故上演示既有议程怎样保留决策和跟进责任;数字、姓名和项目代号服务于示范,不构成可跨系统直接复用的新原则。保留这份实质讲解与正文卡片的补充位置,比再造一张泛泛的会议模板卡更能避免重复。
跨章综合
“可用”必须对应用户能完成的工作。部分请求失败适合用操作成功率衡量,数据保存在介质上却无法加载也不能算恢复,监控还需覆盖没有到达服务的用户请求。指标名称、采样与聚合口径决定团队实际看见什么。
恢复能力需要单独证明。回滚脚本、带外通道、从冷缓存启动、全局重建和备份恢复都可能在罕见故障中暴露隐藏瓶颈。一次成功或多份在线副本不足以证明下一次可在时限内恢复,应把恢复流程纳入日常验证和演练。
重试、排队与自动故障转移可以让常态更平稳,也可能在容量不足时放大故障。需要同时限定单次动作、调用层级、总时间和资源预算;共识保护的是状态决定,外部发送邮件、启动任务或修改数据的效果还需要幂等、查询或明确失效语义。
人的协作也是系统接口。明确责任、确认交接、维护共享状态与无责总结,让参与者拥有可靠信息和行动边界。反馈到研发、平台与产品目标,才有机会消除根源;持续靠少数专家兜底只会隐藏真实成本。
抽象的价值在于保留必要知识并减少重复操作,不是让人永远不理解底层。软件工具、服务框架和自治系统应把已验证能力变成默认选项,团队仍需知道其失败模式、适用场景与何时应停止自动处理。
发散与实践
保留三项现实实践:客户端自适应节流与gRPC截止时间传递采用成熟实现深读,个人中断管理保留两周行为实验计划。本轮已把前两项补齐为固定版本、首轮源码映射和快速/详细两层计划:go-zero v1.8.0与grpc-go v1.71.0的真实提交和入口均已核验;没有执行其测试、压测或三跳服务。
计划入口分别为ideas/idea-001-对照go-zero读客户端自适应节流.md、ideas/idea-002-追踪gRPC截止时间传递链路.md、ideas/idea-003-两周极化时间行为实验.md。行为实验尚未开始,也未关闭通知或改变值班约定。全服务SLO、恢复演练和组织文化实践需要真实服务数据与团队配合,暂不虚构对象凑卡。