来源书籍

大型网站运维:从系统管理到SRE

Skill 版本:v23 287 张卡片

顾贤杰、徐赟、颜中冠 · 电子工业出版社 · 2021-08 · ISBN 9787121416125

全书导读

本书以网易团队的实践讨论传统运维如何转向可靠性工程。工作从执行工单扩展为理解业务、共同制定目标、建设工具与改善反馈;监控、变更、响应、复盘、容量及体验构成相互关联的运作体系,后半部分以基础组件和云技术补充实现背景。组织经验和技术参数需保留时代与场景条件。

全书主线

第1–2章解释角色、工程能力和业务协作;第3–6章把监控、变更、异常响应与稳定性治理连成运行闭环;第7–9章用复盘、容量和用户体验驱动持续改进;第10章放到重要业务活动检验,第11–13章补充网络、内核、配置、组件、虚拟化及云原生知识。

共通判断是围绕用户和业务目标组织工作,显式定义责任、指标、风险与恢复路径。自动化不等于取消控制,云平台不等于消除责任,SRE也不与DevOps互斥。书中部分绝对化比较及技术简化在各章依据原文和必要官方资料作写作当下限定。

内容简介

本书是网易一线团队对SRE落地的阶段性总结,前半以组织协作、监控、变更、响应、稳定性、复盘、容量和体验说明工作方法,后半补充活动保障及常见技术。应把案例放回其组织与技术语境中理解,不能将一家的转型路线当作所有公司的岗位定义或架构规定。

前言

作者以传统运维经验为起点,尝试把工单执行转向业务稳定性和工程改进。章节从理念、协作与观察逐步走向风险、容量、用户体验及底层技术,说明工具能力与组织沟通需要一起推进。前言明确这是个人及团队的实践总结,致谢中监控与容量章节由其他作者参与;案例中的效果和当时技术判断需保留条件。

第1章 关于SRE

SRE的工作既包含值班、故障处理等运行责任,也包含减少这些重复负担的工程投入。书中以工具和平台建设说明目标从“完成一次操作”转向“让业务更易可靠运行”;传统岗位同样可能具有这种能力,名称变化本身不足以证明转型。

SRE将运行服务视为可用软件工程持续改进的问题:除了处理当下工单和故障,还通过工具、平台和设计减少重复劳动,关注用户实际获得的可靠性。不是把原岗位改名或要求一个人精通所有专业;判断转型成效,要看系统是否更易运行和团队是否保留改进能力。 见用工程方法持续改进运维。

原书依据 · 1 处

1.1 为什么会引入SRE

专业分工能深化技能,却可能让一个需求在SA、DBA和应用角色之间转交。业务扩张、云平台封装和系统依赖复杂化,使逐节点人工操作与纯岗位边界难以持续。面向业务的协调、自动化及全局依赖视角提供应对方式,但不能许诺一个SRE知道所有模块或云平台自动消除故障。

SA、DBA和应用运维分别完成本职工作,却可能让用户需求在角色间来回转交。面向业务建立共同负责的协作入口,使一位接单者能组织必要专家推进完整任务,可以减少交接损耗。协调不意味着取消专业分工,也不代表未经训练和授权就执行其他领域的高风险操作。 见专业分工仍需端到端协调。

云平台封装主机、数据库高可用和负载均衡等操作,让团队少做底层重复部署;服务选择、配置、安全、容量和业务恢复责任仍需明确。平台化改变了工作层次,不证明所有团队不再需要运维或云服务天然可靠。应按实际服务边界确认平台提供什么、使用方仍承担什么。 见云平台转移而非消灭运维责任。

当服务节点快速增长而人员不能同比扩张,逐台手工操作会成为瓶颈。把重复步骤、配置和检查沉淀为可复用工具与规范,能使支持能力不完全依赖加人;再用业务反馈评估是否真正减少人工负担。本书10人管理一万到两万节点是场景例子,不是通用编制或生产力指标。 见规模增长倒逼复用能力。

链路追踪把运行中的调用关系作为全局分析的线索,不能仅靠单个团队熟悉局部模块推断完整依赖;具体关联与分层见调用拓扑需要语义分层。

原书依据 · 5 处

1.2 DevOps和SRE对比

DevOps与SRE共同重视协作、自动化和反馈。本书用开发与运维两个方向靠近来解释角色转变,图1-1是组织比喻,不是严格分类或类型继承。将DevOps简化为开发兼运维,或认为SRE独占可靠性指标,都过于狭窄;官方定义支持把SRE看作DevOps理念的一种具体实践。

DevOps强调跨开发与运维的协作、共同反馈和持续改进,SRE把相关理念具体落实到可靠性工程实践。二者可以共存,并非开发兼做运维与运维兼懂开发之间的互斥选择。本书用岗位方向解释差异有助描述其团队经历,但不能据此断言复杂平台不能采用DevOps;Google官方亦将SRE视为DevOps的一种具体实现。 见DevOps与SRE并非互斥。

不同角色使用一致的工具、流程和可解释的监控结果,能减少变更时的认知差异,让开发、运维和项目成员围绕相同服务目标讨论。统一应针对共同语义和协作体验,不等于强制所有业务只能用同一个产品;还需兼顾必要差异、权限及可演进的接口。 见统一工具形成共同反馈。

Node.js让JavaScript可用于服务端网络应用,使已有前端经验的工程师有机会参与后端实现。本书借此解释全栈技能扩展及小团队的用人成本考虑;这不是DevOps的定义,也不能证明Node.js是DevOps的唯一或主要起因。这里只介绍与组织协作的联系,不把运行时功能等同完整运维能力;定义另对照https://nodejs.org/en/about,访问2026-10-24。 见Node.js拓展服务端应用。

本节的比较还强调共同接受故障可能性、渐进而频繁的变更、自动化与监控反馈。控制失败成本和迭代速度需要一并衡量,不能把失败率与SLI/SLO硬分给两个互斥阵营。它们是后续监控、变更和稳定性治理章节继续展开的同一条主线。

原书依据 · 3 处

1.3 选择SRE

组织需要根据服务规模、复杂性、现有人才和协作方式分配可靠性责任。小团队或复杂平台都可以采用跨角色协作,也可能需要专门平台和可靠性工程能力;不能仅按开发与运维人力成本、是否使用Node.js来选择一套标签。原书对国内团队的观察保留为作者经历,不能推广为普遍规律。

选择可靠性工作如何分配时,应评估系统复杂性、团队知识、协作成本及专业能力,而不是只追逐岗位名称。专职SRE、嵌入业务的工程师和平台团队可有不同组合。原书把DevOps概括为开发自行发布维护,并用成本论断排斥复杂场景,属于作者的组织经验与简化,不构成普遍选择规则。 见组织方案要匹配实际能力。

原书依据 · 1 处

1.4 SRE的未来

未来方向在本章是主动把重复工作沉淀为可维护能力,而不是被动等待技术替代岗位。工程时间必须受到实际管理保护。原文“有一半时间做开发,另一半投入软件开发”无法表达工作分配,按Google官方的运维工作上限与工程投入机制校正,避免照录错误。

反复工单和值班容易挤掉长期改进,需度量工作时间并给工程项目保留明确空间。原文“两半时间都开发”是表述错误;Google实践对运维工作设50%上限,以保护工程开发时间。这是该组织的管理约束,不是要求每个人每天严格对半分配,也不能把所有人工任务直接判作无价值劳动。 见给持续工程改进保留时间。

原书依据 · 1 处

第2章 SRE在组织内部的定位

每个工具各自自动化,用户却仍要填多张工单,说明局部效率不等于端到端体验。作者把专业人员组织成面向业务的小组,整合入口并主动协调请求,保留人员专业能力的同时改变交接方式。应明确接单与推进责任,而不是把需求简单转给另一个角色。

用户为了上线一个服务要分别申请主机、部署应用和发布,即使每个步骤已自动化,整体仍可能低效。把有关步骤编排到统一任务入口,并由面向业务的小组协调专业人员,可降低用户重复填写与找人的成本。内部仍须保留授权、校验与异常处理,入口简化不能抹去必要控制。 见整合入口降低用户交接成本。

原书依据 · 1 处

2.1 如何介入组织

介入业务先了解真实目标,再共同梳理稳定性指标、依赖和投入,最后落实到日常、活动与培训计划。权限申请和集群名称不一致的例子说明:工单文字只是入口,不能自动代表正确需求。目标须结合业务阶段和成本共商,单靠明星工程师的经验难以扩展;稳定性也不是只由运维承担。

权限申请可能只是排查业务问题的手段,直接授予权限会遗漏真正目标。接到工单后追问用户要完成什么、现有阻碍是什么,再判断培训、工具、架构协助或权限是否合适。共同办公是获得及时信息的一种方式,不是所有团队必须采用的组织形式。 见从工单追问真实目标。

案例中业务称A为线上集群、B为测试集群,运维却只认CMDB名称,原本可自动处理的需求因此反复人工确认,沟通失误还会引入风险。先建立名称、环境和真实资源标识的清楚映射,让双方能可靠指向同一对象,再自动化执行。不能仅通过把自由文本原样传入自动化工具解决歧义。 见统一资源语义减少复核。

业务与SRE应一起明确用户关心的可靠性指标、目标及关键依赖,再据此规划投入。目标越高,成本和实现约束往往越严格;不能把所有组件一律设成四个九,也不能只拿运维个人经验代替共同决策。用户旅程与依赖风险应同时考虑,单个组件达标不自动证明整体体验达标。 见共同制定稳定性需求。

目的:把被动接单转为可推进的运维计划。梳理日常任务及维护窗口,围绕重要业务活动列项目节点和交付方式,再安排流程、操作及工具培训,明确参与者与完成条件。计划应随业务运行反馈调整,不只列一个待办清单。本次仅整理书中方法,未安排真实维护窗口或执行培训。 见维护计划兼顾任务项目和赋能。

原书依据 · 4 处

2.2 SRE工作着力点

融入团队需要理解业务结构、开发方式和沟通语言,并用具体代码及系统行为建立可检验的技术共识。得到信任后,仍要明确改进方案和授权边界,让业务参与选择。工具链与少量开发也能支持服务发现等业务需求,价值来自需求被可靠满足,而不只是完成操作次数。

业务和运维掌握的背景不同,讨论故障或变更时可一起看具体代码、系统行为与可验证证据,把“经验上应该如此”转成双方可检查的解释。共同语言提高沟通效率,但术语熟练不等于理解全部系统,更不能替代实验数据、业务确认和变更授权。 见技术证据帮助跨团队沟通。

先解释稳定性改进的问题、方案、影响与所需配合,让业务团队参与讨论并认可责任分配,通常比只凭上级命令推进更顺畅。信任是协作基础,操作权限和变更授权仍应按实际制度明确;技术能力或私下达成共识不意味着可以越过必要的生产审批。 见技术信任仍需明确授权。

服务发现等需求表面上属于开发实现,也可能由现有运维工具链结合少量开发更有效地解决。先理解业务需要,再选工具、流程或代码组合,将可复用能力作为产品持续改进。不能为了展示运维价值而重造已有平台,成功标准是需求被可靠满足及迭代效率改善。 见按产品目标输出运维能力。

原书依据 · 3 处

2.3 如何衡量工作

把同类问题整理成有基线、步骤和结果的项目,再邀请业务评审和持续汇报,可使技术投入与业务目标连接。周报把计划、进度、风险和下一步放在一起,为双方反馈提供证据;表2-1中的数字是示例,不能写成本轮实际结果。衡量工作既要看完成情况,也要看对业务体验与风险的影响。

把多次同类问题聚成改进项目,记录现状、风险、步骤与预期效果,再用延迟、稳定性或资源等适当指标判断完成情况。这样比把零散操作数量当成果,更容易让业务理解投入价值;指标需与业务目标和基线对应,不能只用完成一个项目名称证明已有收益。 见项目化改进需要可判定结果。

机房容量风险与新特性开发可能争用资源。将运维项目的问题、业务影响、可选方案和资源需求整理后,让业务参加评审,能使双方看到优先级取舍并形成支持。评审不是单向争取同意的仪式,也应允许修订方案、期限或范围。 见共同评审把风险转成业务决策。

目的:让业务看清运维工作的进展和下一步。按原表2-1对照上周计划、本周进度及下周计划,列出事件/事故、业务项目、支持任务、稳定性改进和当前风险,并附必要评审记录。案例中的30%进度、扩容100节点和5分钟损失仅为模板样例,实际汇报应填可核验数据。本次未向任何团队发送周报。 见周报连接计划进度与风险。

原书依据 · 3 处

2.4 贡献价值

作者从交付效率、资源利用和减少中断三方面解释运维价值。自动化要减少完整链路的等待,资源优化需要结合目标、监控与性能根因,稳定性治理则让开发和运维共同面对变更风险。末尾模糊提及交易事故却未给确切主体或具体因果证据,本轮不猜测公司名称,也不把一般发布风险编成资金并发事故。

工具打通交付链路可缩短等待,容量与资源分析可减少浪费,风险控制可降低业务中断。三者共同解释运维的业务价值,也相互制约:省资源不能牺牲约定可靠性,提速度需要控制失败成本。书中小时级到分钟级等效果是其案例结果,不是任意自动化项目都能获得的承诺。 见运维价值连到效率成本和中断。

案例因偶发性能下降而长期多配节点,SRE结合程序逻辑和内核行为定位到特定系统调用的线性复杂度。额外容量可以缓冲风险,却不一定是最合算的长期解法;应先确认瓶颈、触发条件与用户影响,再比较修复、隔离或扩容。本书未给出调用名称与完整实现,不据此编造具体Linux调优命令。 见定位性能根因再决定冗余资源。

原书依据 · 2 处

第3章 监控建设 运维领域下的系统有很多,如发布、流程、巡检、CMDB(配置管理数据库)等,其中监控建设无疑是重要的组成部分。监控建设作为运维团队的工具支撑,在运维工作的方方面面都承担着不可或缺的作用。合理使用监控建设能及时发现线上异常、快速定位线上问题、有效缩短故障时间。除此之外,监控建设采集的数据也成为其他自动化运维工具建设的基础。

监控既用于发现与定位故障,也为容量和自动化提供数据;它自身的稳定性及使用维护成本是建设的一部分。

3.1 什么是好的监控服务 我们在工作过程中会接触到各种各样的监控服务,有功能完备的集团监控服务,也有小巧轻便的专项监控服务。作为监控服务的使用方,我们一方面享有监控服务提供的便利,另一方面也要承担维护监控服务配置的成本。在满足功能的前提下,选择合适的监控服务,才能达到事半功倍的效果。衡量监控服务是否合适,可以从以下几个角度出发。

采集探针、传输网络、计算和存储中任何一段失效,都可能让业务故障变成监控盲区。分别跟踪数据新鲜度、队列积压、处理失败和报警投递,并为监控关键能力定义可用性目标。探针还须限制CPU、内存和脚本资源,最坏情况下宁可停止采集,也不要拖垮被监控业务;不能用监控页面正常就推断端到端链路完整。 见监控链路也要被监控。

同样的Kafka积压曲线,在订单处理里可能意味着超过交易时限,在离线日志里却可能是计划中的缓冲。判断应结合积压年龄、输入输出速率、可容忍延迟和真实成功率。积压本身不能证明用户交易已经失败,也不能因数据最终被消费就忽略早先超时;报警规则需要业务方提供期限和关键性。 见积压报警须看业务期限。

提高触发门槛可能减少噪声,也可能漏掉故障;降低门槛能提前发现,却可能形成报警疲劳。监控团队提供窗口、聚合和抑制能力,业务团队提供正常波动、关键路径与容忍度,依据实际处理反馈共同调整。少报警不是目标,应衡量是否及时发现值得行动的异常。 见误报漏报需要共同校准。

上千应用和上万节点逐项维护阈值,容易在扩容和业务变化后留下盲区。自动发现负责接入,场景模板负责基础覆盖,批量修改减少重复操作,业务例外仍需明确。平台易用性要以配置维护成本和持续有效性衡量,不能只看功能数量;自动接入并不保证报警对象、归属和阈值正确。 见监控配置需要批量治理。

原书依据 · 4 处

3.2 监控系统的设计逻辑分析 监控系统的实现多种多样,开源监控系统有早些年的Nagios、Zabbix,还有近些年随着容器大火的Prometheus;也有以监控系统作为主要盈利方向的企业会对外输出收费的监控系统,如听云和OneAPM等;企业内部也会自建监控系统,用于满足业务规模化和定制化的监控需求。监控系统作为一个独立的业务领域,有很多业务分支和技术细节,不同监控系统虽然实现思路和业务能力千差万别,但总体会有一些共性问题需要处理,本节将针对监控系统的设计共性问题做分析阐述。

探针可以在本地解析、过滤和聚合,日志则适合保留请求与调用链细节后集中处理。二者可组合,CPU利用率无需先写全量日志再解析,审计与请求排障却可能需要原始记录。日志落盘能缓冲投递,但磁盘、格式化、采集和保留仍有资源代价,不能照搬原书“零耦合、零影响”的绝对说法。 见采集方式按信息需求选择。

推模型由采集端调度并主动发送,需要端侧配置、重试和缓冲;拉模型由服务端安排抓取,较易集中控制采集压力,但必须能发现并连接目标。推送缓冲不能无限积累,拉取也不是自动无丢失;根据网络可达性、采集成本、时效与失败恢复选择,可同时支持两种模式。 见推拉决定采集调度归属。

HTTP有成熟实现和跨语言优势,私有TCP协议可按监控数据定制,但要自己承担兼容、调试和运维成本。连接复用、批量、压缩和消息边界常比协议名字更影响吞吐。原书对HTTP/2的展望属于出版时语境,不能据此认定HTTP/1.x不能复用连接,或私有RPC必然比HTTP高效。 见协议选择不能只比开销。

集群聚合需要把同一集群数据关联,滚动窗口需要保留同一源的历史,这些状态会限制数据分发与迁移。无状态计算容易水平分摊,有状态计算则需明确分区键、状态保存与故障恢复。把处理改为离线可降低实时路径复杂度,但会增加时延与存储依赖,不能把“数据无状态”当作删除必要业务关联。 见流处理状态决定扩展边界。

大数据包或集中在同一键的状态,会让负载在节点间不均匀;故障转移后热点还可能压垮新节点。先定位是包体积、键倾斜还是状态聚集,再在保留语义的前提下裁剪、分片或分阶段处理。增加普通消费者不一定分散同一个热键;要给热点增加独立观测和在线控制入口。 见热点不能只靠扩容。

HBase按键排序组织数据,RowKey同时影响写入热点与查询扫描范围。先列数据维度和主要读取方式,再决定维度顺序、时间范围与分散策略。图中按时间行组织多指标时,取单指标连续时间段可能跨多个行;但是否扫描所有其他列还取决于列选择、过滤与实际布局,不能从示意图推导所有HBase查询都必须全扫。 见RowKey须兼顾写入与查询。

LSM类存储先顺序追加日志并更新内存,随后刷成有序文件,再合并文件以控制读取成本。写入、刷盘和合并分工能提高吞吐,但持久性取决于日志同步等配置;关闭WAL会改变故障时的数据保证。监控存储也需要明确哪些数据可丢、哪些报警依赖历史,不能把性能优化当免费收益。 见写前日志与合并的取舍。

时序数据通常按时间范围和指标维度查询,专用TSDB可针对写入、压缩及索引优化;通用库在规模较小时也可能更省运维成本。书中的InfluxDB TSM与类SQL查询主要对应早期版本,应区别版本和产品。选择还需考虑保留期、维度基数、故障恢复与查询压力,而不是只比单节点写入TPS。 见时序存储按查询负载选型。

趋势图展示时间变化与对照,表格适合容量和最近状态,地图帮助定位地域问题。先明确希望回答什么问题,再组合延迟、负载、错误等视图;相关曲线只提示共同变化,不直接证明因果。大盘突出核心状况和排查方向,详细诊断仍需向下钻取,不能把所有曲线堆在一屏当作全面可观测。 见视图应服务具体判断。

一个方法只调用3次就错1次,错误率是33%,但它与高流量方法同样33%的影响不同。报警可同时检查错误率与调用次数,核心低流量路径则另设绝对错误或合成探测规则。多指标规则减少通用比例阈值的噪声,不能以样本少为由永远忽略罕见关键失败。 见低流量错误率须配样本量。

实时判断沿采集处理链路尽快触发,历史查询报警则借存储比较窗口与复杂维度。后者容易表达“比最近五次均值高30%”,代价是查询负载和额外依赖;前者也可用流式窗口保存状态,并非只能处理简单无状态数据。按允许延迟、计算规模和故障依赖分工,不把核心业务一概归离线。 见实时与历史报警分担职责。

监控数据可能含敏感业务信息,导出接口需要授权、限流与资源隔离。更重要的是使用方要辨认数据陈旧、缺失和降级:扩缩容或自动处置不能把无数据当作零负载,也不能因查询异常反复触发危险动作。监控是自动化输入之一,输入失效时的停止、降级和人工接手必须预先定义。 见监控接口也要限制自动化。

原书依据 · 12 处

3.3 典型监控应用场景 线上服务出现异常的原因多种多样,与之对应的监控应用场景也可分为多种类型。一部分监控应用场景具有明确的数据来源和业务类型,另一部分监控应用场景则用于满足用户特殊的监控需求。本节将梳理一些典型监控应用场景,通过不同监控应用场景来阐述监控系统在其中承担的作用和价值。

CPU利用率描述时间占比,Linux Load均值反映可运行及不可中断等待任务的负载,不能只称CPU排队长度。结合CPU各时间类别、任务状态、上下文切换、网络PPS/丢包及磁盘延迟等定位压力。高Load不自动证明需要扩容,磁盘util也不在所有并行存储上等同饱和;先找瓶颈再选处理。 见系统指标先分清含义。

从用户可见行为发请求、检验是否能完成任务,是黑盒观测;JMX、日志和内部指标暴露执行状态,属于白盒观测,即使它们由外部程序读取。书中把JMX读内部状态归黑盒过于宽泛。两类应互补:用户路径失败说明有影响,内部指标解释可能原因;埋点主动推送与字节码增强只是采集手段。 见黑白盒取决于观测视角。

JVM的GC次数、耗时和内存变化帮助评估运行压力,方法调用量、延迟和错误反映具体执行表现,异常堆栈则连接现象与代码位置。发布前后对比新增异常和核心方法变化,比只看总CPU更有解释力。平均延迟会掩盖长尾,异常数也应结合请求量、影响与预期重试判断,不能把所有抛异常都视为事故。 见应用监控要保留异常上下文。

服务端健康不代表各地域、运营商和CDN用户都能正常访问。终端监控按实际用户体验采样,但弱网和设备行为会让上报迟到甚至缺失,实时错误率可能有偏。按场景选择维度、样本量和窗口,说明迟到修正的假设,并对活动峰值预留采集处理容量;采样率变化也需纳入解释。 见终端数据要处理迟到偏差。

一分钟周期任务若恰好总在采样点运行,分钟观测可能连续显示CPU90%,掩盖其余时间的低负载。提高时间分辨率可揭示短时尖峰和周期结构,但必须知道指标是瞬时采样还是区间统计,不能用相同解释套所有CPU曲线。秒级采集应按排障、变更或关键服务需要开启,并控制业务和存储成本。 见采样周期会伪造持续高负载。

变更前或异常排查时,为指定源开启秒级采集,记录开启范围、预计结束时间与退出条件,结束后自动恢复常规粒度。核心路径可评估长期保留高分辨率以覆盖突发现场,其他路径短期开启更经济。对应[[采样周期会伪造持续高负载]],它补足时间信息但不会自动解释原因。 见秒级监控按需开启并回收。

Trace标识把一次请求跨节点的执行片段关联,聚合后可观察服务依赖,但采样和插桩覆盖会留下空白。把所有边平铺会变成难读的网络,宜按产品、服务、集群和依赖资源逐层呈现,再保留关键路径与异常下钻。树形视图是管理上的组织方式,不意味着真实调用图没有共享依赖或环路。 见调用拓扑需要语义分层。

原书依据 · 8 处

3.4 报警治理 监控报警需要具有告知线上异常和辅助定位问题的能力。对大多报警系统而言,告知线上异常并不困难。随着支持的数据源持续增加,报警规则在不断完善,报警死角在逐渐减少,且服务间存在关联和依赖,即使故障源没有配置监控,关联服务也会表现出行为异常从而触发报警。

连续异常次数可滤抖但延后发现,重复间隔可降噪但可能掩盖未处理故障,集群合并可压缩同源报警但应保留范围和代表信息。按影响与责任人选择电话、即时消息或工单,并设置未确认升级。渠道到达率和固定一小时等都要实测与约定;报警少不代表问题已解决。 见告警路由与抑制分工。

为告警记录有效性、影响、处理动作和最终原因,形成阈值与路由改进依据。批量无效标记可提示需要治理,却不能不经判断就自动关掉关键报警;误标、漏报和业务周期变化都可能影响结论。治理是业务与监控团队持续合作,把重要性和依赖知识沉淀成可维护规则。 见告警处理反馈驱动治理。

原书依据 · 2 处

3.5 容器监控 随着容器技术的不断成熟和应用,监控系统对容器监控的需求也越来越强烈。提到容器监控,不得不说的是Prometheus,虽然该系统并不只支持容器监控,但其与K8S良好的亲和性,以及符合云原生的设计,在容器监控环境下得到了广泛使用。Prometheus是一款完全开源的监控系统,当前仍由社区推动持续更新,主体使用

Exporter暴露指标,Prometheus发现目标、抓取时序并评估规则,Alertmanager负责去重、分组、抑制及路由,Grafana等展示数据。监控节点增多后还要管理标签、目标生命周期、容量和归属。容器监控需同时覆盖应用、容器、宿主机及编排控制面,不能只在Pod里加一个探针就认为覆盖完整。 见Prometheus组件分工。

原书依据 · 1 处

3.6 监控智能化 随着产品技术不断演进和运维复杂度不断提升,运维工程师对运维手段多样化、运维方式便捷化、运维结果有效化等方面提出了更高的要求。本节仅从监控智能化方向阐述一些自己的理解和分析。

无阈值报警通常用历史变化、周期或异常分数替代每个源的固定绝对阈值,并不意味着没有模型参数和决策边界。算法难以自行知道哪些波动值得叫醒人,需业务标记、反馈及漏报评估。智能合并和根因排序同样依赖变更、拓扑与监控数据质量,应辅助调查而非把相关性排名当确定因果。 见无阈值仍要表达业务容忍。

原书依据 · 1 处

第4章 变更管理 运维从诞生之初就和变更有很强的关联,过去所有的运维工程师谈到变更时都会说“变更是万恶之源”。在运维工程师看来,如果没有变更,线上就会少很多问题。导致变更的原因多种多样,但主要的类型有以下几个方面。

发布、外部故障和架构优化都可能触发变更,先明确目标与影响才能对齐开发和运维的诉求。

应用发布、故障触发的替换与架构优化,目标和时限各不相同。先说清为什么变、更改对象、影响、验证和退出条件,再决定流程与协作角色。开发希望迭代、运维希望稳定并非不可调和;书中各类角色行为是团队经历,不能推导所有开发都会推责或所有传统运维只会执行。 见变更目标先于角色争论。

原书依据 · 1 处

4.1 变更管理机制 传统运维、DevOps、SRE

申请表写A、B、C,现场却发现还需A′,说明评估或执行前提缺失。签字再多也不能保证顺序可执行,应把依赖检查、配置验证、回滚和观察转成可复用工具,未知分支及时停止或走明确例外流程。人工补步骤与取消重申之间的选择,应由风险和授权契约决定,不能靠维护窗口难申请就临时冒险。 见审批不能代替可执行验证。

将版本、构建、测试、审批和发布证据串入流水线,可减少漏步骤并留下可追溯记录。自动测试通过并不证明全部生产风险被覆盖,自动化也可能稳定地执行错误规则。持续交付强调保持可发布状态,持续部署才强调自动进入生产;两者不能一律称为“提交即发布”,也不是DevOps与SRE的固定分界。 见流水线把检查变成约束。

共享平台统一版本身份、审计、执行和观测接口,具体业务再按风险选择灰度、滚动或蓝绿等策略。用声明式参数和模板表达差异,比每团队重写流水线更容易治理;特殊需求仍需受控扩展。书中认为CI/CD难以表达策略差异只是当时实践限制,不是流水线的固有能力边界。 见统一平台保留发布策略差异。

把集群、制品来源、提交版本、执行人、策略和结果从工具自动关联,减少自由文本导致的评审歧义。历史成功率可辅助风险判断,但不同变更规模和业务流量不能直接混算;记录了Git哈希也不等于可复现,仍应绑定实际制品、配置和依赖版本。 见变更记录连接版本与结果。

原书依据 · 4 处

4.2 变更控制 所有公司都在变更管理机制建设上有各自的实践和落地,那是不是完善变更管理机制后,变更就不会出现问题了呢?实际情况是所有公司的业务团队虽然拥有完善的变更管理机制,但只要变更还是由人触发或操作的,线上业务肯定还会因此而异常。只不过大一些的公司,控制体系会更好,更不容易将问题引入线上。

变更审批和维护窗口要结合人员熟练度、模块冗余、活动时段、容量及错误预算动态决定。经验丰富不能成为绕过所有安全检查的永久通行证,银行或互联网的标签也不能替代具体风险分析。把规则与原因透明地放进平台,既减少临时争议,也便于在业务变化后调整。 见控制强度随风险动态变化。

原书依据 · 1 处

4.3 稳定性和迭代速度的权衡 变更控制的松和严在实际工作中都有对应的应用场景,变更管理、变更控制都是为了控制风险。可能会有人想到既然都有变更控制机制和变更管理机制,那为什么在实际工作时还会有不一样的感受呢?

业务与SRE先共同确定用户可接受的SLO、统计窗口和预算消耗口径,再以剩余预算指导发布和可靠性投入。预算充足也仍需考虑变更风险;预算耗尽时优先修复,并按约定处理紧急安全或恢复变更。业务阶段、用户规模和关键性会改变损失,但不能仅以公司发展快就忽略资金或安全不变量。 见错误预算协商迭代速度。

原书依据 · 1 处

4.4 变更风险控制 对变更决策有了初步的判断逻辑后,再回归变更的本元——变更风险控制。无论是早期UNIX系统管理员,还是SRE工程师、DevOps工程师,只要和业务稳定性风险打交道,那么与变更相关的任务会一直是运维的核心工作。

只看Nginx配置补丁,评审者往往要反推业务需求,容易确认语法却漏掉路由语义。先表达目标、影响和示例流量,再由工具生成受约束配置并校验,异常需求走明确扩展机制。工具限制是保护面而非正确性的证明;不能因模板不支持就认定业务需求不合理,也不能把所有灵活配置都交给人工直改。 见配置评审需要原始意图。

数据库切换时顺便升级业务、多个强依赖服务同时更新,会让失败后难以判断回滚哪一项。优先拆成有明确验证点的小步骤,记录时间与版本;若变更必须成组完成,应将依赖、原子切换或兼容窗口设计清楚。“一次一个因素”用于减少混杂变量,不是禁止有明确整体契约的复合变更。 见一次变更保留归因能力。

原书用金融维护举例:申请数据库切换,却额外升级业务,增加未知分支与排查时间,可能超出既定中断窗口。风险在于批准范围、恢复方案和真实操作不一致,不只是操作员技术不足。参见[[拆分变更并验证恢复]];原书给出的监管分钟数未作为当前法规复述。 见维护夹带升级放大中断。

针对[[维护夹带升级放大中断]],把切换和升级分为可独立验证、可恢复的步骤,各自明确范围、检查、停止及回退条件。若两步有兼容依赖,先建立过渡方案,不应为了“拆分”制造中间不可用状态。维护时间预算要计入验证和回退,发现临时额外动作须重新评估,不能用既有审批覆盖未知风险。 见拆分变更并验证恢复。

原书依据 · 4 处

4.5 总结 每家公司都有自己的变更管理实践,甚至说每个团队都有自己的变更风格。从长远的趋势看,规范化的稳定性保障离不开良好的变更管理机制。在实施变更管理机制时,需要结合业务实际情况和团队技术发展综合考虑。好的变更管理机制不是一成不变的,而是不断演化改进的。

变更规范需要跟随业务与工具成熟度演化,不能以不变的审批形式代替有效风险控制。

第5章 异常响应 说到线上异常,很多人会想到线上各种监控指标报警的场景。尤其是收到线上核心组件的异常报警后,整个人马上就会肾上腺素飙升,甚至开始出现呼吸急促的状态。发生异常往往意味着线上出现了问题,虽然所有人都不希望发生异常,但在实际工作中线上异常的出现是无法避免的。只要线上业务还在运行,肯定就会有问题被触发,不是变更导致的,就是服务器老化等被动因素导致的。对运维团队来说所有的异常必须被响应处理。在不同的公司,不同的部门异常响应可能有不一样的点,本章将结合作者之前的经历探讨异常响应相关的问题。

线上异常无法靠期待彻底消失,响应机制需要把接手、缓解、信息同步与后续改进连接起来。

5.1 异常的定义 在整个运维工作中,线上业务运行时难免会有监控指标波动的情况,当这些监控指标波动突破一定范围时,就会被定义成异常。运维团队对异常响应,主要分跟进、分析、定位、解决等多个步骤。异常响应在运维团队工作中占据非常重要的地位,很多的异常跟进和定位等步骤也非常耗时。当业务足够大时,会每时每刻发生异常,如果运维团队在这方面的治理有技术“债务”,就会陷入“事故救火员”的角色。

同一IO尖峰在系统管理员看来短暂,在数据库业务中却可能放大为请求超时。跨角色共享业务影响、阈值口径和依赖信息,才能减少每层各查各的问题。指标异常不等于事故,正常阈值内也可能已有用户失败;随着业务结构变化持续更新监控和响应规则。 见异常标准要对齐用户影响。

原书依据 · 1 处

5.2 事故/事件定义 线上的异常问题通常会和事件或事故相关,所以跟进异常问题时,绕不过的一个点就是对异常指标做定性或定量判定。通常情况下,当我们遇到一个线上CPU指标异常时,通常会认为该CPU指标已经影响了业务某些方面的表现。一般来说影响了业务表现的异常问题会被定义成事件或事故。

按持续时间、影响用户比例、核心功能、资金与舆情等维度制定分级矩阵,并说明哪些条件单独触发、哪些需组合。原表的1%、15分钟和P0/P1/P2仅是案例,边界值、未满足项和特殊业务应补清楚。分级用于投入资源和升级响应,不宜等到复盘追责时才为事故贴标签。 见事故分级要先约定口径。

严重程度应连接当班响应、变更控制和后续修复优先级,使团队资源对准实际用户损害。短时但大范围的失败也可能优先于长时轻微抖动。若等级直接等同个人处罚,可能诱导隐瞒或争标签;应保留客观影响证据和改进目标,不能用事故数量代替完整的稳定性评价。 见用事故等级安排后续投入。

原书依据 · 2 处

5.3 异常响应流程 在对事故完成等级定义后,团队还会面临这样的问题:如何响应线上的异常?这个问题涉及的场景是有一定复杂度的。在处理线上异常时,异常是事故还是事件,整个团队的人力投入是完全不一样的。业务团队经常遇到的一个问题是:线上有一个异常,如果初步判断是一个事件,那么正常情况下只是异常对应模块的团队成员参与调查处理。但比较常见的情况是遇到的异常比较棘手,导致处理异常的时间超过15分钟,然后事件就会变成事故。因为这个变化很可能使事故跟进人从一线开发工程师变成业务架构师。这种事件升级机制其实是非常普遍的异常响应机制,在很多公司都有落地。

建立发现、接手、分析、缓解、验收、通知和追踪环节,为每步明确负责人、时限和输出。异常类型可用不同工作流,已确认可自动处理的路径不必强加人工审批。超过预期或影响扩大时升级通知与资源,不能把所有问题机械等到15分钟;服务恢复后继续追踪彻底修复。 见响应流程须有负责人和升级。

原书依据 · 1 处

5.4 如何处理值班过程中的异常响应 在运维团队的日常工作中,除监控等常规手段发现的异常响应外,还有一个重要的异常响应来源就是日常在线值班。日常在线值班俗称On-Call(类似客服值班接电话),是一个非常枯燥而且繁重的工作。在所有的运维团队中,很多人都经历过一周值几天班的情况。正常情况下,值班工作很多都是关于答疑和简单事情处理等操作,但不可避免的是值班也会遇到线上故障。这个时候经常发生的一种情况就是整个团队可能刚好就只有值班人员在线,而遇到的问题非常严重。在这种情况下值班人员的处理能力会直接影响问题的跟进和解决。

值班接到模糊反馈时,先用标准问题清单补充时间、范围、症状、路径和最近变化,再分类并交给合适支持者。负责人要跟进到有明确结果,不是简单转发后消失,也不是一人包办所有技术排查。高频问题应转成表单和自动分流,未知类型则沉淀为监控与流程改进。 见值班负责闭环而非包办。

对访问异常同时记录发生时间、请求URL/症状、客户端网络与出口、域名解析结果,再按需要收集ping -c 5 <域名>的丢包和RTT、traceroute <域名>的逐跳结果。两次测试须说明位置与时刻;ICMP被过滤或中间跳不回复,不单独证明HTTP不可用或该跳故障。书中表单只是演示,未对真实域名执行命令。 见网络反馈收集成可比证据。

原书依据 · 2 处

5.5 应急沟通机制 在实际的工作中,总有些异常是超出所有人预期的。这些超出预期的异常通常不会被自动化工具或平台覆盖,最终会依赖运维工程师介入执行。一般情况下这样的异常往往又是比较重要的或是全局性的,对线上业务有较大的影响。根据历史统计数据,这样的异常情况每年可能会出现1到2次。每次出现超出预期的异常,处理人和问题类型都会完全不一样,整个团队在应急时如果准备不足就会有一种手忙脚乱的感觉。

应急时把操作、信息同步和现场指挥分开,保护排查者的注意力。同步人定期向状态群发布影响、已知事实、当前动作及下次更新时间,并把外部线索筛选后送回讨论。书中5分钟是团队节奏示例;只回“在查”信息不足,要求排查者反复解释所有细节又会拖慢恢复。 见排查与信息同步分角色。

在平时演练启动角色、联系方式、群路由、固定播报和升级条件,比写完文档更能验证团队会不会执行。将问题讨论群与状态通知群分开,避免大量追问遮住行动信息;机器人可记时间线但不能代替判断。通过演练暴露人员缺位、联系方式失效及工具权限问题,及时更新。 见应急沟通也需要演练。

原书依据 · 2 处

5.6 关于线上问题的ROC 所有的线上异常,最后都会被处理解决,只是不同的公司对异常的跟进程度是不一样的。在传统运维模式中,我们经常会遇到当运维团队查到的问题确定和运维团队负责的领域无关时,运维团队就开始收手,不再追溯下去的情形。这样做的主要原因是运维团队的工作领域有明确的划分,如数据库管理员不用管应用层的异常,如果应用层有问题,那么就将问题的排查推给应用管理员。这种工作方式在很多场景下会导致问题查证不彻底,导致线上同个类型的问题反复被触发。

Trace缩小到请求经过的模块,指标帮助定位异常时段与资源,日志和代码再解释发生过程,变更记录提供可检验假设。它们不是只能按固定顺序查的流水线,也不保证每次只有一个根因。CPU高是现象,继续寻找触发负载、锁竞争或代码缺陷;先缓解用户影响,再用证据完成原因调查。 见根因调查串联多源证据。

原书ZooKeeper过载案例沿Session Timeout、CPU高位、版本实现和发布时间点调查,最终定位某业务注册逻辑缺陷。提高CPU主频可能暂时缓解,却不能直接修正异常注册或读写放大。书中全局写线程与锁行为只适用于当时版本,不能推广到所有ZooKeeper实现;要结合现场日志和版本检验链条。 见注册缺陷可放大协调服务负载。

采样Trace可能漏掉罕见异常,指标算法会受训练数据和业务变化影响,缺失埋点与过期拓扑也会限制归因。自动系统适合关联时间、排序线索并记录证据,置信度不足时应交人工复核。更多数据不必然更好,应同时考虑质量、成本与关键路径覆盖,不能把算法排名直接当作已证实原因。 见自动归因受采样与模型限制。

原书依据 · 3 处

第6章 服务稳定性治理 线上稳定性一直是运维工作的核心,从第一个需要系统管理员维护的系统上线开始,运维的工作内容就是维护线上业务的稳定性。从早期系统管理员处理系统硬件和系统软件故障,到应用运维工程师、数据库管理员分别对各自领域的故障进行治理,最后到SRE统一治理平台、微服务等架构,可以发现运维角色在不断衍化,但不变的是运维工程师始终都在处理各种故障。随着技术的发展,线上业务已经呈现分层治理的模式,线上故障的定位也变得越来越复杂。

稳定性治理从单一设备维修走向跨层业务恢复,角色变化并不改变维护用户结果的目标。

6.1 SLI/SLO/SLA的制定和落地 从传统运维转变为SRE后,我们对线上业务的稳定性有了全新的定义。在传统运维模式下,业务都是比较简单的架构,业务稳定性主要靠用户反馈或业务主观感受进行评估。现在业务的复杂度已经无法依赖人工方式治理稳定性问题,所以迫切需要一种全新自动化的方式来治理业务稳定性问题。

SLI是明确口径的服务质量测量,例如成功请求比例、延迟分位数或数据新鲜度;SLO是在统计窗口内希望达到的目标。选少量真正代表用户结果的指标,并说明分母、有效请求、观察位置和窗口。书中“不超过三个”只是经验;SLI不是必须达到的技术门槛,低QPS也可能只是没人请求,不能自动判故障。 见SLI指标与SLO目标分开。

假设全天1440分钟全部纳入统计,其中30分钟不满足已约定的可用标准,则观测可用率为(1440−30)/1440×100%≈97.9167%。它是实际测量结果,不是“SLO被扣掉30分钟”;SLO仍是目标。若采用成功请求比例,应改用请求数作分母。原书Nginx吞吐低于一万的门槛还需结合需求与服务能力,不能仅凭速率判断不可用。 见可用率算例须写清分母。

服务协议要明确质量口径、统计周期、排除项、问题受理与计时起点,以及未达标的补救责任。对象存储“24小时修复”若未定义何时开始计时,会让双方对承诺产生不同理解。SLA通常涉及外部约定,SLO是工程目标;二者应对齐能力且可以留裕量,不能一律认为免费服务无协议或SLO只能用于内部绩效。 见SLA应明确触发与补救。

原书依据 · 3 处

6.2 故障预防 在传统运维模式下,对于谁应该为线上业务的稳定性负责这个问题,很多开发团队都会将责任推给运维团队。当线上出现故障时,运维流程、运维操作、运维工程师的响应总能被挑出问题。最常见的情况是线上只要出现故障,事后复盘基本都有与运维团队相关的改进项。运维工程师最直接的感受就是只要线上出现故障,肯定就无法规避责任。

在上线前根据请求量和依赖评估容量,检查节点故障、缓存切换、限流降级与恢复路径,能比上线后被动补救更早暴露风险。SRE与开发共同明确假设和验收,不是事后都归运维操作责任。成熟方案可减少重复实现,但是否统一还需检验功能、性能和维护契约,不能用“统一”否定真实差异。 见可靠性评审前移到设计期。

原书依据 · 1 处

6.3 抑制不可控因素 俗话说变更是“万恶之源”,运维工程师不喜欢太多变更的主要原因是变更会引入不可控因素,而不可控因素会导致线上业务不稳定。线上每次出现故障都可以认为是不可控因素导致的。运维团队为了控制不可控因素,做了很多的努力,如变更管理、变更控制等。从实践上讲,变更管理等机制的落地很好地降低了线上不可控因素,提升了业务的稳定性。

数据库切换、主机关机和应用发布即使各自评估过,同时发生也会产生混杂,阻碍定位和恢复。把维护对象、依赖范围、执行顺序和互斥条件汇入共享变更视图,平台可提示冲突并安排协调。解耦和向后兼容接口减少跨团队同步需求,但代码仓库独立不代表运行时没有共同故障域。 见跨团队变更需要共享时间线。

把容量、冗余、依赖、监控、授权和回退前提沉淀成变更前清单,能自动验证的项目由平台记录证据,其余由明确责任人确认。清单应随故障与架构更新,不能为了“全勾选”隐藏未知项。目标是暴露足以停止或调整变更的条件,不是穷尽宇宙中所有低概率风险。 见检查清单需沉淀真实前提。

原书依据 · 2 处

6.4 故障演练 说到线上业务故障,故障预案是一个无法规避的问题。在我们团队经历过的故障中,业务团队除了会追问运维团队故障原因,还会追问有没有故障预案。传统运维团队会从自己负责的领域出发,梳理各种故障,制定相应的故障预案。

同一数据库宕机,数据库切主、应用重启与系统恢复旧主若各自执行,可能触发二次切换。先按业务恢复目标整合为一份协调预案,明确谁判断、谁执行、何时停止与如何验收。不是永远只允许一个动作,而是不能让相互冲突的预案无协调并行;未知故障与未演练预案都需要显式补缺。 见故障预案要统一业务目标。

先列现实故障与预计用户表现,明确检测、隔离、恢复及回退,再注入可控故障,对照预期记录结果和改进项。原表中网络延迟未及时发现、SQL压力仍影响业务,说明有预案不等于闭环有效。演练同时检验跨角色协作、工具权限和执行熟练度;本轮只整理方法,没有注入真实故障。 见故障演练验证完整闭环。

混沌工程通过受控实验发现系统在扰动下的弱点:定义用户可见稳态,提出保持稳态的假设,引入现实变量,再观察是否被推翻。随机杀节点只是可能手段,必须限定影响范围、停止条件和恢复安排,逐步扩大实验。书中“混浊工程”为用词错误,不能把随机线上破坏本身当作可靠性证明。 见混沌实验先设稳态假设。

原书依据 · 3 处

6.5 故障自愈 传统运维的日常工作会接触很多的故障自愈。很多人常说的配置一个Keepalived

主备切换依赖检测与一致配置,负载均衡隔离坏节点依赖可用后端和余量,平台重建依赖控制面,业务内建恢复则需处理状态与一致性。各层可以组合,均有失败范围和恢复时间。MySQL主从复制本身不自动提供安全故障切换;Keepalived双节点失去一个备份,也不能简单说业务容量必然减半。 见自愈按层次落实前提。

某机房变慢后把流量全部移走,剩余机房若无余量也会变慢并再次切流,最终把故障扩散到全部站点。根因是恢复动作没有约束接收容量和反馈回路。参见[[按承载能力限制恢复动作]];机房越多不自动获得更强容错,必须验证失去容量后的降级与分配策略。 见自动切流也会制造雪崩。

针对[[自动切流也会制造雪崩]],恢复策略需先验证接收侧余量,限制迁移速率,必要时拒绝或降级部分请求,而不是把全部负载追着健康节点跑。配置切换阈值与恢复条件时应防抖,并通过失去节点/机房的演练验证。原文明确容量风险,分阶段迁移等是由该风险推导的实施方向,未声称原书给出完整算法。 见按承载能力限制恢复动作。

原书依据 · 3 处

6.6 业务MTTR 故障自愈涉及的用户比较关心问题,就是故障发生到故障消失的时间。例如,线上有一个应用节点故障,需要考虑负载均衡多久能踢掉问题节点。如果不对负载均衡进行合理调整,那么及时使用健康检测模式也会导致用户感知故障发生。很多模块对故障检测是有时间间隔的,这导致即使再怎么修正配置,故障造成的影响也始终无法消除。这让我们不得不关注平均故障恢复时间和平均故障修复时间。

把发现、确认、切换、连接恢复和用户可用分别计时,才能知道该缩短哪个阶段。探测间隔从5秒改3秒可能减少发现等待,也会增加探测开销或误判,不能直接等同用户恢复快2秒。MTTR一词有repair、recovery、resolve等用法,报告应写清起止点、样本范围及分布,别把单次恢复时间当平均值。 见恢复时间应拆解测量。

原书模拟支付数据库故障:部分服务可在15分钟恢复,但故障前1秒交易记录还需数小时补齐。恢复可用与完成数据修复不同;若带缺口继续接受资金动作,可能重付、漏记或错误展示。参见[[有边界恢复并补齐交易]]。这不是可直接选择“先恢复赚钱”的普通停机取舍,资金不变量需先得到保护。 见支付恢复不能放弃账实完整。

针对[[支付恢复不能放弃账实完整]],先界定可确认的数据范围,能安全开放的只读或隔离功能可先恢复,未确认资金路径保持受控;依据权威交易日志重建、对账与订正后再扩大开放。记录RPO、恢复范围和缺口,不把旧数据当最新承诺。原书提出日志回捞与控制资金风险,本卡的隔离/验收是落地条件,未运行真实恢复,也未复述书中监管时间为现行规定。 见有边界恢复并补齐交易。

原书依据 · 3 处

6.7 灾备建设 讲完故障恢复后,我们来看看故障恢复的前提:灾备建设。在所有的运维系统中,灾备建设是故障恢复最终的兜底保障,如果一个业务不做灾备建设,那么迟早会出现大问题。因为计算机系统是一个非常复杂而又脆弱的系统,可能一个震动就会损坏硬件设施,所以只要在计算机上存点重要的资料,就得考虑做灾备建设。

同机房跨机架可防部分硬件故障,同城多机房可防单机房中断,异地备份减少区域灾难导致的数据丢失风险。要核对机架、交换机、电力、运营商和地理相关性,不能因有两份实例就认定独立。两地三中心是部署形态,分布式多活也不能保证“只要有节点活着就服务可用”;目标应结合仲裁、容量、RTO与RPO。 见灾备先按共同故障域分层。

用户在某中心写入数据,随后被调度到未同步的中心,可能读到旧值或丢失操作连续性。会话/数据亲和可减少跨区访问,但需配合故障转移与状态所有权,不能替代复制一致性。单写、多写、同步或异步复制都要显式选择;两地三中心不强制数据库多写,强同步的时延代价也不意味着所有业务都不能采用。 见跨机房状态与流量共同设计。

机房距离、往返时延、链路容量和共享路由应实测,冗余线路还需验证真实物理路径。书中50千米、3毫秒和100毫秒表是示意经验,不保证某距离一定满足时延,也不证明灾害隔离。灾备验收应包含复制滞后、缺节点容量、切换授权和恢复演练;Raft/Paxos提供部分一致性机制,不自动完成整个业务的全自动灾备。 见容灾验收不以距离代替证据。

原书依据 · 3 处

6.8 总结 线上业务的稳定性治理是一个长期的过程,随着技术的改进和业务的发展会出现新的稳定性技术方案。从SRE工程师的角度看,服务稳定性治理是一个长期的工作,新的团队、新的技术都可能对现有的稳定性治理方案形成挑战。当然需要我们看到的是,对比传统的物理服务器,云原生时代的稳定性治理无论是在预案上还是在技术上都有了明显的变化,这些技术特性的变化就是SRE工程师需要跟进和解决的方面。

服务治理是持续工程,平台与业务改变后要重新验证预案、自愈与灾备前提。

第7章 事故复盘

事故复盘既是技术学习,也是组织如何对待失败的问题。若复盘主要用于个人归罪,成员可能隐瞒异常或私下处理,反而降低问题可见性。有效复盘仍需明确改进责任,但应重建当时掌握的信息和系统条件,避免以事后结果评价当时判断。以下章节由记录、分析走向行动与学习。

相关知识:责备会压低问题可见性。

原书依据 · 1 处

7.1 关于事故复盘

复盘从临时口头同步、博客叙事,发展到有共同字段、跨团队评审和行动追踪的流程。平台可提高记录一致性及通知可靠性,真正的闭环仍是记录事实、讨论解释、执行改进。多人参与前先整理证据与问题,避免会议泛化。表7-1实际给出项目、记录人、时间、过程、影响及跟进事项,读者需要能区分事件时间、处理动作和统计影响。图7-2中的指标更新应理解为记录与工作流衔接,服务承诺调整另需决策。

相关知识:事故叙述不等于改进闭环;复盘贯通记录评审改进;多人复盘先整理共同事实;事故记录绑定时间与影响。

原书依据 · 4 处

7.2 如何提升事故复盘质量

复盘深度可从缩短一次故障,进到修复一个业务的机制,再到检查其他业务相同风险。后两步不是把方案无条件推广,而是核对触发条件是否相同。报告则将这些解释保留下来:表7-2包含时间线、损失和统计依据、直接及深层原因、应急、临时规避、长期方案,以及做得好和待改善的环节。及时保存证据与决策理由,才能让后来的人理解过程。

相关知识:复盘深度延伸到同类风险;复盘报告要能重建决策。

原书依据 · 2 处

7.3 事故分析的逻辑和原则

分析从监控告警或用户报告进入,通过时间、请求与链路找到相关节点,再用业务SLI评估影响,调查逻辑故障、触发条件和处置动作。资源指标不是用户损失的直接计量,时间先后也只是因果线索。救火本身可能扩大故障,应逐步核对动作效果。异常检测、日志识别和依赖图可辅助根因候选生成,未知情况仍需人工判断。一手参与者必须提供信息,但其解释也要与其他证据核对。

相关知识:用户报告先补定位上下文;事故影响用业务指标核算;先后顺序只是因果线索;复盘也检查救火动作;自动根因分析保留人工判断;一手参与者补齐复盘事实。

原书依据 · 6 处

7.4 事故责任的划分逻辑

本节呈现特定团队按操作规范和责任边界划分事故责任的做法,不能当成通用SRE制度或法律结论。按流程操作仍可能暴露流程自身缺陷,第三方失败也不能免除对依赖韧性的检查。TCP没有读写超时导致线程阻塞的案例说明,只争论网卡告警归谁,会遗漏应用等待边界。可迁移的学习是拆分促成条件、检测和处置能力,并让改进有人负责。

相关知识:遵循流程仍要检查流程缺陷;网络阻塞要检查应用超时。

原书依据 · 2 处

7.5 事后跟进

事故报告不是行动完成。服务注册新旧版本不兼容的案例比较了兼容性改造与特殊发布步骤:后者可作过渡,却容易形成长期操作负担。跟进事项需要明确责任、时间、修复目标与验证人,并进入项目排期、提醒和追踪。验收要检查效果,不能仅凭任务关闭;资源不足和跨团队授权也需要被解决,而非一概归为个人不重视。

相关知识:临时规避要通向长期修复;改进任务写清负责人和验收。

原书依据 · 2 处

7.6 基于事故/事件的学习

事故经验需反复学习。周期案例研讨按故障类型回顾当前还存在的条件,并考虑新技术是否改变处置方案。情景模拟通过角色分工和新的故障条件检验判断、沟通及流程,不只是复现历史答案。这是桌面训练思想,实际生产故障注入仍是另一个需要明确授权和控制的动作。

相关知识:历史事故按周期重新学习;情景演练加入新的条件。

原书依据 · 2 处

第8章 容量管理

容量管理把资源投入与业务量、服务质量联系起来。仅随着产品增长不断采购,难以解释投入是否必要,也看不到优化空间。后续需要同时掌握需求、现有水位、瓶颈、成本和扩容时限,让采购或缩容成为有依据的决策。

相关知识:容量投入需要业务依据。

原书依据 · 1 处

8.1 容量管理的目标

容量管理同时追求成本可控和业务支撑。大促瞬时流量可能使平时空闲的系统失去服务质量,故而平均利用率低并不足以证明资源浪费。目标需明确业务量与可接受质量,成本评估才有共同前提。

相关知识:容量目标同时约束成本质量。

原书依据 · 1 处

8.2 容量管理的方法和策略

传统按营业增长同比例估预算的方法,能解释投入规模,却不能验证技术承载量。100万元投入对应1000万元营业指标,增加500万元营业指标按0.1比例得到50万元额外预算,只在比例稳定的假设下成立。资源成本应包括计算、存储、网络、软件与机房等。容量水位必须注明资源类型及分子分母:部署占用不等于CPU利用,更不等于SLO约束下的吞吐。表8-1/2把数据库、缓存、主机和应用指标分开,避免一个平均数掩盖短板。峰值的幅度与持续时间也要保留,80/20与四倍是案例而非定律。事前规划、事中观测、事后调整构成持续循环。

相关知识:历史成本比例只是预算假设;资源成本包括算力以外费用;容量水位先确定分子分母;容量指标按资源类型选择;扩容优先找到实际短板;容量规划保留峰值形状;容量管理形成三个阶段。

原书依据 · 7 处

8.3 容量分析系统建设

容量分析把资产数量、业务归属与运行状态结合。大盘展示总负荷、分类资源、瓶颈和峰值,简单报表也可先支撑决策。p95是观测样本的分位位置,不是第95名用户;它稳定也不保证最慢请求稳定。MySQL巡检涵盖表与分区余量、资源负载和软硬件基线,Redis巡检还看节点不均衡、热点大键、TTL、碎片及换出。表中Linux参数解释存在过度简化,本次对照官方文档标明差异,不直接复制配置。CMDB提供资源及负责人关系,监控提供实际使用,两者共同回答哪个业务消耗什么资源。

相关知识:容量大盘先提供决策信息;分位数描述样本而非用户;巡检把增长趋势变成提前量;数据库巡检区分容量和配置;缓存巡检检查节点不均衡;缓存业务风险另设检查项;巡检参数不能照表硬套;资产与监控按业务关系连接。

原书依据 · 8 处

8.4 容量优化方式

容量优化分业务、资源与架构维度。业务阶段影响需要的余量,具体阈值仍取决于增长、扩容耗时和服务目标。降配、在线离线混部、网络与CDN优化都要检查性能、隔离和正确性,不能把书中的百分比当预期收益。内网路径需要真实解析与路由验证;CDN忽略参数必须确认响应等价,缓存键和源站转发策略不可混同。容灾分级应由业务损失及恢复要求确定,不能单为降本撤冗余;登录案例只有提示性风控可缺省,不能推广为跳过必要授权。账单月汇总减少重复扫描,但不授权删除审计与退款所需明细。缓存、异步、并发上限、超时及数据库调优分别处理不同压力,也各带来一致性、完成可见性和复杂度成本。测试环境回收与备件复用需保留状态、兼容及恢复能力,不能照低利用图直接删除数据或拔硬件。

相关知识:容量余量随业务阶段调整;主机降配先核对资源约束;混部收益依赖负载隔离;内网优化要验证实际链路;CDN优化兼顾对象与回源;忽略查询参数前验证等价;跨机房带宽按服务目标权衡;容灾分级先明确业务目标;弱依赖必须先确认可缺省;账单汇总减少重复扫描;数据归档先确定保留边界;降低数据库往返保留语义;异步完成要有可追踪结果;并发与等待都需要上限;数据库优化按瓶颈和代价选;测试资源回收保留状态需求;硬件复用需要资产与风险依据。

原书依据 · 17 处

8.5 容量预案

容量预案需要把预警变成可执行动作:明确触发,准备资源和依赖,按验证过的步骤执行,持续检查服务质量并在事后评估。扩容不只是购买机器,还可能涉及白名单、数据同步和验证耗时。表8-7阈值是例子,既不自动决定扩容,也不能保证资源立即可用。

相关知识:扩容预案覆盖资源到位之后。

原书依据 · 1 处

8.6 总结

容量治理是持续协作:明确成本与质量目标、组织责任人、培训和反馈,技术平台才有落地基础。考核不应只奖励高利用率,否则可能把必要冗余也当浪费。

相关知识:容量治理需要责任和持续反馈。

原书依据 · 1 处

第9章 用户体验

SRE向业务可靠性和平台服务扩展后,需要同时面对外部用户与内部工具使用者。专业工具的入口、术语和反馈仍是产品问题。开发者自己的使用习惯不应成为唯一设计依据,应通过具体任务了解不同角色的阻碍。

相关知识:运维工具也需要用户视角。

原书依据 · 1 处

9.1 外部用户体验和内部用户体验

外部用户关心目标是否完成,内部用户关心能否可靠高效交付工作。折扣错误可能来自运营配置,也可能来自旧版本节点,不能只按表象确定责任。页面失败、内容错和需求不满足是排查入口,状态码或空白页不能替代证据。内部用户即使愿意配合或只能使用既有平台,绕行成本依然影响交付;界面和流程变更应评估任务连续性。

相关知识:外部体验关注业务能否完成;功能错误也可能来自部署差异;页面症状不能直接确定根因;内部体验影响工程交付效率。

原书依据 · 4 处

9.2 影响用户体验的要素

发布、配置、数据、网络及资源上下线都可能影响业务数据正确、请求连续及流程完成。变更类别帮助设计观察点,不意味着每类只产生一种错误。内部平台还需简化流程、封装专业复杂度、快速反馈和可靠数据,但这些目标不能被解释为取消必要业务控制,内部可用要求也要由实际任务决定。

相关知识:变更影响按三类结果检查;封装复杂度仍需清晰反馈。

原书依据 · 2 处

9.3 外部用户体验的改进策略

外部体验可从日志、应用观测、用户投诉及公开反馈切入。日志能关联服务端请求,终端SDK看真实使用,合成探测主动测试特定路径,各自覆盖不同。观测有采样、资源、流量和数据范围约束。投诉与舆情补充未知异常,却有渠道偏差,不能当全量SLI。客服分流需要跨团队合作,不能仅凭扣钱未发货就认定是外部第三方,也不能照表9-1的分钟数承诺本地检测时效。

相关知识:日志用于评估用户请求影响;客户端观测与探测各有范围;投诉分流保留跨团队排查;反馈信号不能代替全量指标。

原书依据 · 4 处

9.4 内部用户体验的改进策略

内部体验有三条主线。数据兼容性方面,字段格式会被自动化消费者依赖,需贯通需求原型、运行变更、通知和迁移验证;内部和外部数据都应正确。流程方面,需求审批与成本审批有不同控制责任,删除前者可能使后者在错误前提下批准资源,简化应重新安排控制而非只减少点击。执行效率方面,按任务类型查看长耗时、多次人工流转和反复退回,区分等待、处理与返工,再决定自动化优先级。成功、用户退回和技术失败应有明确口径,自动化不是100%成功保证。

相关知识:内部接口格式也是契约;平台替换连接需求与迁移;减少审批先检查控制责任;效率瓶颈用任务数据定位;自动化成功率需要明确口径。

原书依据 · 5 处

第10章 重要业务活动保障

重要活动同时检验容量、变更、应急和团队协作能力。SRE要把分散的专业工作连接到同一业务目标,提前发现跨团队依赖,并让资源准备、运营节奏和故障保护互相匹配。活动成功不只是机器在线,还包括峰值期间的用户结果以及之后可复用的改进。

活动保障需要全局协调。

进一步阅读:活动保障需要全局协调。

原书依据 · 1 处

10.1 重要业务活动的资源准备

资源准备从业务规模预测开始,而不是把各团队申请数量简单相加。广告与页面路径决定每个模块的峰值,压测把预测转换成真实承载能力;采购、机房与云平台交付又决定容量何时可用。分批资源交付应跟随压测进展,性能优化则持续修正后续需求。遇到超时时,要把入口保护、缓存和底层修复放在业务语义与交付时间下比较,不能只寻找一个最容易改的参数。

容量从业务流量倒推;资源交付有前置依赖;采购节奏跟随压测;延后采购减少闲置占用;优化方案先看业务语义;压测也验证平台极限。

进一步阅读:容量从业务流量倒推;资源交付有前置依赖;采购节奏跟随压测;延后采购减少闲置占用;优化方案先看业务语义;压测也验证平台极限。

原书依据 · 6 处

10.2 参与运营活动评估

运营活动的时间分布可能与技术团队准备的主峰不同。一次上午秒杀就可能比午夜大促更集中,因而需要逐项确认投放时间、目标URL、用户转化、持续时间和后端链路。峰值计算必须明写到达、点击与人均请求假设;本节原图与文字少了一个转化系数,不能照抄数字。技术与运营还可以通过分批投放和错峰达成同样业务目标。

总容量不代表分钟峰值;峰值公式须写清假设;运营节奏也能削峰。

进一步阅读:总容量不代表分钟峰值;峰值公式须写清假设;运营节奏也能削峰。

原书依据 · 3 处

10.3 重要业务活动稳定性预案

稳定性预案要覆盖全链路的反馈效应。上游扩容、下游限流和重试机制各自有效,组合起来却可能放大压力。跨团队评审需把触发阈值、执行顺序、恢复条件及通知机制写清,并在接近活动的负载下演练。对线性调用链,先扩下游、先在入口限流是保护顺序的基本出发点,实际仍须按拓扑和共享依赖调整。

预案需要交叉评审;扩容与限流顺序相反。

进一步阅读:预案需要交叉评审;扩容与限流顺序相反。

原书依据 · 2 处

10.4 重要业务活动准备阶段的工作重点

活动准备不是始终做同一类工作。初期明确目标、容量与交付节奏,中期通过压测推进性能改造,临近活动则集中于全链路验证、预案和配置稳定。资源再平衡也不能只按平均CPU移动机器:业务优先级、降级能力、峰值和故障余量共同决定哪些容量可以安全回收。

保障重点随阶段变化;资源挪用先查业务余量。

进一步阅读:保障重点随阶段变化;资源挪用先查业务余量。

原书依据 · 2 处

10.5 重要业务活动的变更执行要求

活动变更常有用户可见的整点要求,应把实际生效误差作为可靠性指标。预先审批只是前提,自动化触发、时钟、传播与验证同样重要。多个团队的操作还应依据业务依赖排程,明确负责人、检查与回退,避免在高峰附近叠加无关基础设施维护。

把生效时刻设为指标;活动变更按依赖排程。

进一步阅读:把生效时刻设为指标;活动变更按依赖排程。

原书依据 · 2 处

10.6 重要业务活动的运维人力

保障工作持续时间长、风险集中,关键人员的疲劳会直接影响判断和执行。轮班、交接和备份角色维持连续能力,标准化工具则把日志查询、诊断和常规操作交给具备权限与训练的业务团队。减少重复依赖能让SRE把精力投入跨团队风险,而非无限延长在线时间。

轮班保障持续判断力;自助工具减少保障人力。

进一步阅读:轮班保障持续判断力;自助工具减少保障人力。

原书依据 · 2 处

10.7 重要业务活动的收尾

收尾要把一次成功转成下一次的输入。容量回收释放资源池,日志与监控归档支持比较预测、压测和实际峰值,渠道转化与执行复盘则校准业务模型和预案。只有保留统一口径的数据与具体行动,经验才不依赖少数人的记忆。

活动结束及时回收资源;用实绩校准下次保障。

进一步阅读:活动结束及时回收资源;用实绩校准下次保障。

原书依据 · 2 处

第11章 运维操作基础

云平台和容器平台封装了大量日常命令,但异常仍遵守网络、协议和资源机制。SRE学习基础操作的目的,是在平台边界失效时能提出假设、取得证据并验证,而不是积累没有前提的参数清单。

平台化仍需故障机理。

进一步阅读:平台化仍需故障机理。

原书依据 · 1 处

11.1 网络基础

网络诊断应区分IP选路、下一跳邻居解析和交换机MAC转发。ARP、邻居表与转发表并非同一对象,VIP迁移要考虑邻居收敛和实际MAC配置。IPv6 NDP增加路由发现及可达性检测,却不默认加密。多出口需同时配置路由表和选择规则,重定向与历史容器残留案例提醒我们:配置文件、实际选路和双向路径必须一起检查。

ARP表不同于转发表;VIP切换需要邻居收敛;二层攻击对应不同表;NDP还承担路由发现;查看实际路由选择;策略路由需要选择规则;重定向可能掩盖错路由;单向可达需查回程。

进一步阅读:ARP表不同于转发表;VIP切换需要邻居收敛;二层攻击对应不同表;NDP还承担路由发现;查看实际路由选择;策略路由需要选择规则;重定向可能掩盖错路由;单向可达需查回程。

原书依据 · 8 处

11.2 4/7层协议

协议排查从明确失败请求与时刻开始,再用有限范围和两端抓包重建时序。MTU、MSS和TCP状态各有层次,RST也可能来自中间设备。HTTP层应分别检查协议标准、代理策略和浏览器规则:HTTP/1.1持久连接与流水线、HTTP/2流复用存在不同阻塞边界;Host是必填约束,CORS预检则是OPTIONS而非原文所称GET或HEAD。

围绕失败请求抓包;MTU与MSS分属不同层;RST要定位实际发送者;HTTP复用仍有分层限制;Host缺失应返回错误;头字段规则不等于实现策略;CORS预检使用OPTIONS;跨域响应头应有唯一职责。

进一步阅读:围绕失败请求抓包;MTU与MSS分属不同层;RST要定位实际发送者;HTTP复用仍有分层限制;Host缺失应返回错误;头字段规则不等于实现策略;CORS预检使用OPTIONS;跨域响应头应有唯一职责。

原书依据 · 8 处

11.3 内核参数调优

内核调优必须从当前版本和瓶颈证据开始。带宽时延积与窗口计算先统一单位,再分清接收窗口和拥塞控制;原文旧缓冲公式及RTT平方推导不能用作现系统配置依据。连接跟踪、监听队列、网卡积压和邻居表位于不同层次,调整一个上限不会消除其他瓶颈。DR的ARP策略与BBR算法也需要在真实拓扑、版本和负载下验证。

调参先解释默认含义;BDP先统一单位;窗口与吞吐有量纲约束;连接容量存在多重上限;半连接队列仍需关注;邻居表容量也会耗尽;DR模式谨慎控制ARP;拥塞窗口不同于接收窗;BBR通过模型控制发送。

进一步阅读:调参先解释默认含义;BDP先统一单位;窗口与吞吐有量纲约束;连接容量存在多重上限;半连接队列仍需关注;邻居表容量也会耗尽;DR模式谨慎控制ARP;拥塞窗口不同于接收窗;BBR通过模型控制发送。

原书依据 · 9 处

11.4 常见命令行

命令行诊断先快速划定CPU、内存、磁盘或网络方向,再深入异常资源。协议统计要看故障窗口增量,ss队列要按连接状态解读,抓包则应明确接口、过滤和保存长度以便复现。BPF位掩码与整个字节等值不等价;Wireshark自动标签仅提供线索,仍需完整捕获、两端证据和应用日志解释。

首轮诊断先缩小范围;从协议统计定位丢弃;用ss区分排队与拥塞;保存可重读的网络证据;BPF位掩码不等于等值;Wireshark标记是线索。

进一步阅读:首轮诊断先缩小范围;从协议统计定位丢弃;用ss区分排队与拥塞;保存可重读的网络证据;BPF位掩码不等于等值;Wireshark标记是线索。

原书依据 · 6 处

11.5 配置管理工具

配置工具把重复操作转成可审查、可复用的目标状态或任务。Ansible以inventory和role组织SSH执行,CFEngine强调策略承诺,Chef组织工作站、服务端和客户端的配置收敛,Puppet通过资源依赖与Hiera分离逻辑数据,Salt提供远程执行与状态应用。工具不会天然给全机群提供原子事务,任意命令也不天然幂等;实际选择必须包含版本、依赖、权限、测试、批次和回退能力。

声明配置要看收敛条件;Ansible按角色组织配置;CFEngine以承诺约束状态;Chef分发与收敛分工;Puppet显式声明依赖;Hiera分离逻辑和数据;Salt区分采集和状态应用;批次执行降低配置风险;选配置工具也选维护模式。

进一步阅读:声明配置要看收敛条件;Ansible按角色组织配置;CFEngine以承诺约束状态;Chef分发与收敛分工;Puppet显式声明依赖;Hiera分离逻辑和数据;Salt区分采集和状态应用;批次执行降低配置风险;选配置工具也选维护模式。

原书依据 · 9 处

11.6 基础设施即代码

基础设施即代码把云资源的配置意图纳入版本管理和评审,使资源创建与变更可追踪、可重复。Terraform通过provider适配平台,但平台资源语义和迁移代价仍然存在。原书配置中的镜像与地域是历史例子,不能直接视作当前可部署方案,更不能把换provider等同完成跨云迁移。

基础设施代码便于审查。

进一步阅读:基础设施代码便于审查。

原书依据 · 1 处

11.7 关于运维操作的未来

本节展望自动化和云原生对岗位的影响:重复操作减少,平台开发、架构和可靠性判断变得更重要。这属于基于当时趋势的判断,而非所有系统管理员岗位必然消失的事实;基础机理仍是处理异常的前提。

自动化改变运维能力重点。

进一步阅读:自动化改变运维能力重点。

原书依据 · 1 处

第12章 基础组件运维

基础组件让业务以较低成本获得流量治理、异步通信和存储能力,同时引入新的故障及语义边界。SRE既要维护组件实例,也要连接业务对一致性、顺序、容量和时延的要求,托管服务也不能代替这种理解。

组件运维要连接业务需求。

进一步阅读:组件运维要连接业务需求。

原书依据 · 1 处

12.1 负载均衡中间件

负载均衡在入口分配请求,但各算法优化的目标不同:轮询均分次数,权重适配容量与渐进发布,最少连接和响应时间用反馈近似负载,会话与哈希则偏重定位稳定。健康检查、容错、镜像和请求改写决定转发以外的可靠性与信任边界。选型应比较实际特性、版本、失败行为和维护成本,不能把历史产品表或亲和能力当作状态一致性保证。

轮询均分次数不均分成本;权重可用于渐进放量;最少连接依赖负载代理;最短响应偏向快节点;会话亲和不是状态冗余;一致性哈希减少重映射;备用节点提供应急容量;健康检查连接流量准入;容错重试需守住业务语义;流量镜像要隔离副作用;请求改写改变信任边界;负载均衡按全成本选择。

进一步阅读:轮询均分次数不均分成本;权重可用于渐进放量;最少连接依赖负载代理;最短响应偏向快节点;会话亲和不是状态冗余;一致性哈希减少重映射;备用节点提供应急容量;健康检查连接流量准入;容错重试需守住业务语义;流量镜像要隔离副作用;请求改写改变信任边界;负载均衡按全成本选择。

原书依据 · 12 处

12.2 消息队列中间件

消息队列连接生产与消费,但入队、持久化、路由、消费确认和业务副作用是独立环节。日志吞吐、交易顺序、消息保留和事务要求会导向不同选型。原表对Kafka事务和NATS持久化的判断已过时;Kafka内部事务也不自动覆盖外部数据库。存取款事件乱序体现的是业务因果顺序缺失,UUID身份本身不能修复这一问题。

队列可靠性贯穿全链路;支付消息乱序破坏业务前提;队列事务有明确边界;持久化取决于模式与配置;队列选型兼顾运维能力。

进一步阅读:队列可靠性贯穿全链路;支付消息乱序破坏业务前提;队列事务有明确边界;持久化取决于模式与配置;队列选型兼顾运维能力。

原书依据 · 5 处

12.3 缓存中间件

缓存从弱依赖演变成支撑后端容量的关键组件,整组失效可能引起回源雪崩。命中率、淘汰、过期、数据结构和访问延迟需要共同评估;复制、持久化及分片分别缓解不同故障,但不能推导确认写永不丢失。横向迁移和恢复会竞争资源,纵向扩容与SSD分层则改变容量成本及故障影响面,协议兼容也需验证具体语义。

缓存失效会放大后端压力;淘汰与过期机制不同;命中率需结合成本观察;数据结构影响缓存选择;复制不等于确认写不丢;分布式缓存要预留恢复资源;持久化方式影响恢复窗口;映射文件不自动保证持久性;缓存横向纵向各有代价;Mcrouter扩展缓存路由。

进一步阅读:缓存失效会放大后端压力;淘汰与过期机制不同;命中率需结合成本观察;数据结构影响缓存选择;复制不等于确认写不丢;分布式缓存要预留恢复资源;持久化方式影响恢复窗口;映射文件不自动保证持久性;缓存横向纵向各有代价;Mcrouter扩展缓存路由。

原书依据 · 10 处

12.4 数据库

数据库选择先明确数据模型、事务和查询要求,再比较引擎与硬件。LSM、复制、分片、NUMA、大页、RAID和SSD各有独立取舍,单点性能提升不能替代正确性与恢复能力。SQL与NoSQL都包含多种实现,不能用有无事务、是否支持JSON等绝对二分;时序数据还应按查询、写入、扩展、压缩和序列基数选择。

事务要求先于引擎性能;LSM以合并换写入效率;隔离级别须按实现核对;复制与分片解决不同问题;数据库频率策略需实测;NUMA会影响局部内存压力;大页配置区分不同机制;RAID保护与性能有关联;SSD性能受整条路径约束;NoSQL是多种数据模型;时序存储按负载选型。

进一步阅读:事务要求先于引擎性能;LSM以合并换写入效率;隔离级别须按实现核对;复制与分片解决不同问题;数据库频率策略需实测;NUMA会影响局部内存压力;大页配置区分不同机制;RAID保护与性能有关联;SSD性能受整条路径约束;NoSQL是多种数据模型;时序存储按负载选型。

原书依据 · 11 处

12.5 组件运维

托管组件降低日常部署维护负担,却不会提供对所有业务都最优的方案。掌握各组件的工作原理、限制和故障表现,才能判断托管能力是否满足业务需求,并在平台边界处提出正确的容量与可靠性问题。本节为小结,与前四节同一结论,不另造重复卡。

第13章 云计算和容器

云计算成熟后,SRE仍要按场景理解计算、存储、网络和容器的底层边界。应用消费者可以把硬件责任交给平台,但平台提供方仍需设计隔离、资源与恢复;本章由资源交付机制逐步延伸到混合云和云原生的运维取舍。

基础设施仍需运营责任。

进一步阅读:基础设施仍需运营责任。

原书依据 · 1 处

13.1 云计算基础

云平台把资源生命周期变为API,缩短交付并允许自动替换实例。基于镜像创建新节点、验证、接管流量、移除旧节点,可以减少原地配置漂移,但需要配额和新旧兼容。持久数据、启动时延及回滚仍需专门处理,不能因交付自动化就推断系统已具备弹性或容灾。

云API改变资源交付方式;镜像替换实现不可变交付。

进一步阅读:云API改变资源交付方式;镜像替换实现不可变交付。

原书依据 · 2 处

13.2 虚拟化

虚拟化通过Hypervisor与硬件支持隔离来宾系统,不同设备路径有不同成本。Xen属于裸机Type1,Dom0是管理域,原表将其归为Type2不准确;KVM、设备模型和SR-IOV等优化也不能用固定调用次数解释。性能收益与迁移、隔离和硬件依赖应在实际负载下比较。

Xen运行在硬件之上;虚拟化成本依设备路径变化;SRIOV减少部分IO绕行。

进一步阅读:Xen运行在硬件之上;虚拟化成本依设备路径变化;SRIOV减少部分IO绕行。

原书依据 · 3 处

13.3 容器

容器共享宿主内核,用namespace划分资源视图,用cgroups统计和限制资源,镜像封装用户态依赖。轻量交付降低环境差异,却保留共同内核的安全和争用边界。资源限制与调度需要按租户及负载权衡,内核缺陷修复还涉及测试、节点替换和回退,不能据私有云案例泛化为关闭限制即可。

容器共享宿主内核;镜像降低环境交付成本;资源限制需要权衡;内核升级需要平台验证。

进一步阅读:容器共享宿主内核;镜像降低环境交付成本;资源限制需要权衡;内核升级需要平台验证。

原书依据 · 4 处

13.4 云存储

云存储的性能与可靠性受整个分布式路径约束。Ceph的MON、OSD、MDS分别承担控制映射、对象数据和文件元数据,原文中央元数据类比容易混淆;副本数也并非固定。恢复流量、慢盘识别和真实机架故障域决定故障后业务质量,不能只根据总IOPS或副本数量判断保障水平。

Ceph控制与数据职责分离;存储恢复竞争业务带宽;慢盘也能拖累共享存储;副本要跨真实故障域。

进一步阅读:Ceph控制与数据职责分离;存储恢复竞争业务带宽;慢盘也能拖累共享存储;副本要跨真实故障域。

原书依据 · 4 处

13.5 云网络

云网络通过可编程转发支持动态实例与租户隔离,VXLAN在UDP/IP上封装二层帧,底层并不强制使用VLAN或OVS。Open vSwitch实现与OpenFlow控制协议需要区分。封装、流表、网关和CPU路径的组合影响性能,优化前应先定位观测层次与MTU,不能认为所有云网络采用同一架构。

VXLAN跨三层承载二层;交换数据面不同于控制协议;云网络优化要看完整路径。

进一步阅读:VXLAN跨三层承载二层;交换数据面不同于控制协议;云网络优化要看完整路径。

原书依据 · 3 处

13.6 混合云

混合云和多云通过连接不同资源环境实现迁移、容灾或临时扩容,但网络连通只是第一步。地址规划、路由、隧道和数据增量同步影响可迁移性,双边数据库同时写入更需要一致性协议。平时私有、高峰借用公有云的收益必须覆盖准备、同步、出口流量与回收成本。

混合云与多云范围不同;跨云互联先校验地址与路径;跨云连通不等于数据库多活;弹性借云需要提前打通链路。

进一步阅读:混合云与多云范围不同;跨云互联先校验地址与路径;跨云连通不等于数据库多活;弹性借云需要提前打通链路。

原书依据 · 4 处

13.7 云原生

云原生强调可重复的交付、自动化和可管理可观测的系统,原文将高影响变更误译成高度冲突变更。容器动态实例推动服务发现与稳定入口,服务网格进一步把部分流量治理放入代理。控制面与数据面分工并不免费,代理、加密和协议处理的性能与故障影响要测量,历史CNCF图谱不能当当前工具推荐榜。

云原生强调可重复变更;动态实例需要稳定发现入口;服务网格分离治理职责;网格性能优化需要测量。

进一步阅读:云原生强调可重复变更;动态实例需要稳定发现入口;服务网格分离治理职责;网格性能优化需要测量。

原书依据 · 4 处

跨章综合

从业务目标到SLI/SLO,再到监控、变更与响应,每项制度需要可解释的输入输出和明确负责者。指标能描述服务状态,却不能自行解决故障;局部组件正常、自动化步骤成功和整体用户任务成功也不是同一事实。把依赖、数据完整性及失败路径一起检查,才能避免工具完成而业务仍受损。

复盘将一次事件转为后续可追踪改进,容量管理把需求、负载和资源约束连接起来,用户体验则持续检验工作是否真的对使用者有效。专业分工、平台能力与跨团队协作应互补;组织规模、产品阶段和成本影响具体方案,不能把某公司流程或2021年的技术默认视为统一标准。

发散与实践

采用两个真实对象:本批共享写入事件的有限范围复盘,与Redis巡检表公开证据核验。容量扩缩容、生产故障注入、外部投诉抓取缺少真实部署或授权,不生成空泛实践;内部效率和兼容问题由知识卡与事件计划覆盖。

已读实际事件证据并填写首轮事实表;已读官方文档并填写参数冲突对照。完整事件复盘与后续版本化巡检待执行,未调参、部署、演练、删数据或发消息。

共享写入事件复盘计划(计划:ideas/idea-001-共享写入事件复盘计划.md;材料:ideas/materials/shared-write-event-first-pass.md);巡检参数证据核验计划(计划:ideas/idea-002-巡检参数证据核验计划.md;材料:ideas/materials/redis-inspection-evidence-first-pass.md)。

生成进度与管理记录

《大型网站运维:从系统管理到SRE》读书笔记总览

整体评级:信息浓度高,稳定性高,经典原理。全书围绕协作与业务目标解释监控、变更、复盘和容量等方法的理由与权衡,具备迁移价值;具体工具配置、公司实践、平台格局及部分技术简化应保留条件,不能直接当作当前部署规范。

执行模式:light

建档进度:done

本次实际规则:book-notes v23 / book-workflow v4;历史仅预检和逐候选暂停由当前完整流程授权覆盖,不将历史已读当本轮全文完成。

原书身份:顾贤杰、徐赟、颜中冠著,电子工业出版社,版权页2021年8月,ISBN9787121416125;OPF的2021-06-30为文件元数据时间,与版权页月份分别记录。

原文来源:books/20260910/大型网站运维:从系统管理到SRE (顾贤杰 徐赟 等) .epub;SHA-256 f4a0547e222a5d9c8cf7b93803525c6f0870b5b66968fbcf4db8eb676d983a5e;当前287 ZIP成员逐一匹配,92spine本轮完整阅读。

整书笔记:_book_note.md(schema 1;SHA-256 677cb6ea029ab935d4607f788eb99ba24e98c0d38ead70ede552da75c9cf5eaa)。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
前置2 内容简介 done 0
前置3 前言 done 0
1 第1章 关于SRE done 9
2 第2章 SRE在组织内部的定位 done 13
3 第3章 监控建设 运维领域下的系统有很多,如发布、流程、巡检、CMDB(配置管理数据库)等,其中监控建设无疑是重要的组成部分。监控建设作为运维团队的工具支撑,在运维工作的方方面面都承担着不可或缺的作用。合理使用监控建设能及时发现线上异常、快速定位线上问题、有效缩短故障时间。除此之外,监控建设采集的数据也成为其他自动化运维工具建设的基础。 done 27
4 第4章 变更管理 运维从诞生之初就和变更有很强的关联,过去所有的运维工程师谈到变更时都会说“变更是万恶之源”。在运维工程师看来,如果没有变更,线上就会少很多问题。导致变更的原因多种多样,但主要的类型有以下几个方面。 done 11
5 第5章 异常响应 说到线上异常,很多人会想到线上各种监控指标报警的场景。尤其是收到线上核心组件的异常报警后,整个人马上就会肾上腺素飙升,甚至开始出现呼吸急促的状态。发生异常往往意味着线上出现了问题,虽然所有人都不希望发生异常,但在实际工作中线上异常的出现是无法避免的。只要线上业务还在运行,肯定就会有问题被触发,不是变更导致的,就是服务器老化等被动因素导致的。对运维团队来说所有的异常必须被响应处理。在不同的公司,不同的部门异常响应可能有不一样的点,本章将结合作者之前的经历探讨异常响应相关的问题。 done 11
6 第6章 服务稳定性治理 线上稳定性一直是运维工作的核心,从第一个需要系统管理员维护的系统上线开始,运维的工作内容就是维护线上业务的稳定性。从早期系统管理员处理系统硬件和系统软件故障,到应用运维工程师、数据库管理员分别对各自领域的故障进行治理,最后到SRE统一治理平台、微服务等架构,可以发现运维角色在不断衍化,但不变的是运维工程师始终都在处理各种故障。随着技术的发展,线上业务已经呈现分层治理的模式,线上故障的定位也变得越来越复杂。 done 18
7 第7章 事故复盘 done 19
8 第8章 容量管理 done 36
9 第9章 用户体验 done 16
10 第10章 重要业务活动保障 done 20
11 第11章 运维操作基础 done 43
12 第12章 基础组件运维 done 39
13 第13章 云计算和容器 done 25

非正文排除

spine项 类型 排除理由
0 / titlepage.xhtml 封面 封面或版权书目信息,已读取,不是独立机制正文
1 / text/part0000.html 版权信息 封面或版权书目信息,已读取,不是独立机制正文

待关联术语

术语名 出现章节 一句话语境
Chrome 1 作为技术/平台/术语例子提名,未展开实现机制
Stack Overflow 1 作为技术/平台/术语例子提名,未展开实现机制
GitHub 1 作为技术/平台/术语例子提名,未展开实现机制
CMDB 2 作为技术/平台/术语例子提名,未展开实现机制
CPU Cache Line 2 作为技术/平台/术语例子提名,未展开实现机制
Nagios 03 监控系统提名
Zabbix 03 监控系统提名
Prometheus 03 抓取与时序规则
Alertmanager 03 通知治理
Grafana 03 可视化
Flink 03 流处理引擎提名
Storm 03 流处理引擎提名
HBase 03 RowKey与时序存储
InfluxDB 03 历史TSM架构
JavaAgent 03 字节码增强采集
Traceid 03 请求关联
ITIL 04 管理流程提名
CI/CD 04 自动化变更证据链
Kanban 04 项目管理方式提名
On-Call 05 值班闭环
RCA 05 多源证据原因调查,原书ROC/ROF混用
ZooKeeper 05 历史注册缺陷案例
SLI 06 测量口径
SLO 06 目标
SLA 06 协议约定
Chaos Monkey 06 混沌实验工具提名
Keepalived 06 VIP主备示例
Raft 06 一致性协议提名
Paxos 06 一致性协议提名
ITIL 7 原书仅用于事故流程平台化背景,未展开完整框架,不补造认证或版本知识
WebP/TGP 8 仅提名图像格式;不据疑似TGP拼写声明当前云厂商支持
NLP与贝叶斯异常识别 7 仅列自动根因分析候选技术,未展开算法,不单独生算法卡
APM 11 用于对比算法效果的监测产品类别,未展开
tcp_tw_recycle 11 历史调参反例;不作为当前参数建议
Conntrack 11 连接跟踪容量已与连接多重上限合并
SEND 11 NDP安全扩展,已作为NDP边界解释
Tair 12 缓存产品提名未解释
TinyLFU/W-TinyLFU/LRFU 12 淘汰变体仅提名,不补造实现
TokuDB 12 历史引擎对比,未补造当前部署建议
HBase/MongoDB/CouchDB/Neo4j 12 已按宽列/文档/图数据模型归纳,不逐产品重复成卡
Intel Optane 12 历史容量介质示例,不作为现采购推荐
VROC 12 历史NVMe RAID实现提名
DPDK/eBPF 13 性能优化路径提名,不补造具体实施
Serverless 13 云原生图谱提名,无独立机制
CNCF Landscape 13 原图为出版时图谱,未把不可辨小Logo当逐项阅读证据

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Node.js 源码项目 1 原书介绍服务端JavaScript用途,已成延伸参考卡;官方https://nodejs.org/en/about于2026-10-24核对
SRE:Google运维解密 书 前言/1 作者明确借鉴的SRE实践来源
Google SRE Introduction 官方文档 1 https://sre.google/sre-book/introduction/;2026-10-24核对运维工作上限、工程改进与两者关系
How SRE Relates to DevOps 官方文档 1 https://sre.google/workbook/how-sre-relates/;2026-10-24核对协作与实现关系
Netflix 组织 06 Chaos Monkey背景提名
Google SRE Postmortem Culture 官方公开资料 7 访问2026-10-24,限定组织责任与无责复盘边界
Linux VM及Redis administration 官方文档 8 访问2026-10-24,核验表8-5参数语义
RFC 9111与CloudFront查询参数策略 标准与官方文档 8 访问2026-10-24,核验缓存键及查询参数前提
Ansible 工具 11 Playbook/inventory/role操作已成卡,旧sudo语法限定
CFEngine 框架 11 策略与v2/v3差异已成延伸参考
Chef 框架 11 Workstation/Server/Client与Cookbook结构已实读并成卡
Puppet/Hiera 框架 11 依赖与数据层级已成卡,原Hiera3不冒充当前配置
Salt 工具 11 采集/状态/批次已成操作用途卡
Terraform 工具 11 基础设施即代码用途已保留,配置未执行
Nginx/HAProxy/LVS/Envoy 项目 12 历史选型与功能比较,实质机制已按功能成卡
Kafka/RabbitMQ/ActiveMQ/NATS/ZeroMQ 项目 12 消息系统选型背景;ZeroMQ不强制独立Broker,MQTT是协议非同类产品
Mcrouter 项目 12 缓存路由用途已成延伸参考
Redis/Memcached 项目 12 缓存机制已成卡,不逐产品重复定义
Ceph 项目 13 架构与可靠性边界已成卡并纠正MON/MDS混淆
OpenStack 项目 13 云平台背景与历史实践,未生成当前安装步骤
Envoy/Istio 项目 13 书中sidecar网格架构与性能边界已成卡

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
维护夹带升级放大中断 维护夹带升级放大中断 拆分变更并验证恢复 04 原书用金融维护举例:申请数据库切换,却额外升级业务,增加未知分支与排查时间,可能超出既定中断窗口。风险在于批准范围、恢复方案和真实操作不一致,不只是操作员技术不足。
支付恢复不能放弃账实完整 支付恢复不能放弃账实完整 有边界恢复并补齐交易 06 原书模拟支付数据库故障:部分服务可在15分钟恢复,但故障前1秒交易记录还需数小时补齐。恢复可用与完成数据修复不同;若带缺口继续接受资金动作,可能重付、漏记或错误展示。
支付消息乱序破坏业务前提 支付消息乱序破坏业务前提 原书仅具体说明问题,未补造方案卡 12 异步消费未保留存取款所需先后关系;UUID身份不等于顺序

具体风险来自书中教学流程和代码;补充方案均写明保证范围,不宣称生产事故已发生或全部竞态已被解决。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 共享写入事件复盘计划 真实任务 done 07 ideas/idea-001-共享写入事件复盘计划.md;ideas/materials/shared-write-event-first-pass.md
002 巡检参数证据核验计划 证据验证 done 08 ideas/idea-002-巡检参数证据核验计划.md;ideas/materials/redis-inspection-evidence-first-pass.md

实践候选筛选:done

采用两个真实对象:本批共享写入事件的有限范围复盘,与Redis巡检表公开证据核验。容量扩缩容、生产故障注入、外部投诉抓取缺少真实部署或授权,不生成空泛实践;内部效率和兼容问题由知识卡与事件计划覆盖。

已读实际事件证据并填写首轮事实表;已读官方文档并填写参数冲突对照。完整事件复盘与后续版本化巡检待执行,未调参、部署、演练、删数据或发消息。

本次交接

本书历史0知识卡,本轮依据当前原文和必要原图完整生成。不同章节重复机制通过真实secondary来源或正文链接汇合,不按篇幅凑数;原书错误和案例保证范围见具体章节。light未执行生成后复核、独立审查与审查结果优化,实践只完成计划和首轮材料。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。