此笔记位置已失效,请从目录继续阅读。
全书导读
本书讨论怎样在无法穷尽预测的复杂系统中,用可控制的实验发现未知脆弱点,并建立对系统弹性的证据信心。读者需要区分三个对象:事件是施加的条件,稳态是希望保持的用户结果,爆炸半径是实验可能影响的范围。注入成功只表示条件被施加,并不表示实验假设成立;业务保持正常也只支持已验证的条件。
当前笔记依据2019年8月第一版中译本(原版2017年)及已核验的本地EPUB,所有Netflix工具、频率、组织状态和行业例子都按成稿情境理解。出版信息取版权页与书名页;OPF日期与其冲突时采用版权页,不沿用旧交接误写的人民邮电出版社。
全书主线
第一部分先解释为什么局部正确无法保证整体可靠,第二部分用五项原则把探索转成有边界的证据获取,第三部分再给实验闭环与组织改进坐标。稳态与假设规定要判断什么,现实事件规定研究什么变化,接近生产减少结论迁移的差异,自动化让证据跟随系统持续更新,爆炸半径和中止机制则限制学习代价。
这些原则相互制约:扩大流量可能提高代表性,也可能触发共享资源或断路器的新效应;把流量隔离并设置对照,可能降低风险并改善小信号辨认,却不能替代对全局故障域的认识。实验最终服务于架构和协作改进,工具与成熟度标签都不能代替一次具体实验的假设、指标、边界和结论。
flowchart LR
A[业务结果与稳态] --> B[可检验假设]
B --> C[选择现实事件与最小范围]
C --> D[观察并与基准比较]
D --> E[修复与更新认识]
E --> F[逐步扩展及持续验证]
G[监测与中止护栏] --> C
G --> D
序
序言把混沌工程放在组织和架构一起变化的背景里:云服务、服务化和团队自治带来效率,也增加依赖和故障传播的不确定性。面向失败设计,就是先接受资源和服务可能失效,再让架构有对应的隔离、冗余与恢复能力。实验主动暴露已有弱点,应有恰当时机、稳态和终止条件。
这段中国团队历史实践还提出评价问题:实验次数、场景数只是过程量,价值应联系到历史故障改进是否有效、监控能否及时发现,以及发现—定位—恢复时长。先明确希望增强的能力,才知道怎样评价工具和推广效率。上述具体时间和团队实践属于2019序言背景,不是当前行业状态的调查。
本节进一步的机制与边界:稳定性目标重于次数。
原书依据 · 1 处
译者序
译者从微服务扩张说明复杂性:服务越来越多,依赖和交互使传统测试难以预先覆盖全部行为;开发者同时容易低估引入新架构的风险。混沌工程要求接受系统仍会有缺陷,以实验及早找到风险,并让防御能力内建到开发过程。译者将这一思路与《反脆弱》联系,这是译者的解释框架,不是对所有系统“越复杂必然越脆弱”的无条件证明。
最具体的例子来自备用存储:切断第三方依赖后,上传图片能存到备用空间,链条末端部分读取服务却取不到图片。局部写入成功掩盖了端到端不一致,实验组控制限制了最初受影响流量。修复后重复验证能防止后续变更再次引入盲点。这里说明的是端到端依赖与验证,不包含并发扣款等资金正确性机制。
本节进一步的机制与边界:备用路径须端到端验证。
原书依据 · 1 处
第一部分 混沌工程介绍
混沌工程以实验建立对复杂分布式系统抵御突发事件能力的信心。弹性在这里是面对故障并从故障中恢复的能力。系统的硬盘、网络、容量和依赖都会变化,重点因此从“完全阻止故障”转为主动识别会使故障扩大成严重业务后果的脆弱环节,再有针对性地加固。
这一分部回顾了本书Netflix案例的演进:从Chaos Monkey关闭节点,到Chaos Kong模拟区域失效,再到FIT和自动化平台。规模扩大不是任意增加破坏,而是逐渐形成能获得有效认识的实验原则。工具适合Netflix自身条件,原则才是作者希望读者迁移的对象。STG、强制终止进程等只是粒度示例,并不是本次实践的执行指令。
第01章 为什么需要混沌工程
混沌工程通过事先设计的扰动,观察复杂系统是否表现出原先不知道的行为。传统断言测试擅长验证已知属性,例如特定输入应输出什么;实验则围绕预期提出问题,可能发现新的相互作用。故障注入是一种施加条件的手段,与探索性实验有重叠,但实验还可研究流量激增、资源竞争、异常返回或特殊输入组合等未必属于“故障”的事件。
开展前要有两个基本条件:系统已经具备应对该事件的合理弹性,且可以观察系统行为。若已确定某事件必然造成严重事故,应先修复已知弱点;缺少监控则连结论也无从判断。飞机控制的试验和其他行业例子说明方法可以迁移,但风险容忍度、设施和安全制度要独立判断,不能照搬娱乐服务。
本书的Chaos Monkey案例用高频单节点失效建立共同工程约束:任一节点掉线仍应保持端到端服务。冗余、回滚和自动恢复才是应对手段,关闭节点只是验证与促成设计习惯的事件。一次误部署使唯一节点被关闭,说明演习可把损害提前暴露在更有条件响应的工作时段;不意味着所有环境都可无条件照做。
第02章 管理复杂性
架构选择同时受性能、可用性、容错能力和端到端新功能开发速度约束。微服务让团队独立开发、部署及运维,同时增加跨团队沟通和依赖治理成本。康威定律提醒人们,系统结构与组织的沟通结构有关;自治仍需共同目标和有效协调。混沌工程在这里提供对弹性的实证信心,支持继续变化。
七个微服务的调用图展示,一个入口请求可以迅速扩散到多层依赖。真正的问题不是单个服务太难理解,而是规模、频繁变更与非计划交互超过个人的完整预测能力。书中牛鞭效应案例把这个限制具体化:手机离线积攒请求,恢复后突发访问集中到固定用户节点;缓存降级使CPU和I/O下降,自动伸缩误以为可回收节点;流量迁移、超时、失去个性化和用户刷新继续强化循环,最终导致服务及上游中断。各个局部策略都可能合理,组合却产生系统失效,因此复盘和实验不能只寻找一个坏组件。
Chaos Kong将验证范围扩大到区域故障恢复。本书Netflix控制平面当时跨三个AWS区域,区域事故之后开发了平滑迁移策略,再通过模拟一个区域失效的重复演习暴露缺口。部署在多个区域只提供结构条件,演习才检验实际恢复和跨团队配合。CDN与控制平面的区分限定了案例范围,不能把区域演习概括成关闭所有视频传输基础设施。
第二部分 混沌工程原则
“混沌”描述要研究的系统不确定性,不表示实验应随意。对复杂软件缺少可完整预测全部输入响应的模型,作者因而采用经验实验;实验之前仍需系统分析,以便每次获得有用信息。这里的电路传递函数只是对照说明,不意味着所有软件都无法建立任何局部模型。
FIT说明如何把实验条件精准带入请求链:在选定的一类请求头里记录失败场景,服务故障锚点读到标记后返回相应故障。把一小部分用户纳入实验,能够检查依赖用户数据服务失败时基础播放是否仍可用。请求级选组还不等于全部资源已经隔离,故后文继续讨论故障域与爆炸半径。
随后五项原则分别回答:怎样判断正常、注入什么、在哪验证、怎样持续、怎样控制影响。它们不是随机工具列表,而是一组相互约束的实验设计问题。文末Sloth的历史网络故障守护进程例子强调预防发现,而非只在事故后响应。
本节进一步的机制与边界:FIT沿请求传播故障;Sloth以节点守护注入。
原书依据 · 2 处
第03章 建立稳定状态的假设
稳定状态是系统正常时会维持的合理范围或模式。它要与客户接受程度和服务水平协议一致,因此不能只说“机器没挂”。系统指标如CPU和I/O有助于诊断;业务指标如用户能否付款、能否开始播放,更接近系统实际交付的价值。Netflix的SPS是每秒开始播放数,是满意度的间接代理而非满意度本身。指标选择还须考虑采集工作量、与架构的关系和反馈时延;客户端观测可以补充服务端指标。
稳定不等于恒定。SPS随时间周期变化,图3-1中当周与上周的曲线虽起伏却大体重合,因此可用历史模式比较异常。新闻等不可预测事件也会使需求激增,基线模型须反映业务而非机械使用同一个阈值。指标和模式共同界定了“正常”,还须给出允许偏差,才有可检验假设。
Netflix常见假设是注入非关键服务故障或区域迁移后,SPS不会明显偏离稳态。这个假设并不要求组件都无异常,例如个性化列表可降级成默认列表;它要求核心用户结果仍可接受。ACA自动金丝雀分析把新版本集群与同等规模旧版本基准集群比较,用系统及自定义指标评分。混沌实验可复用这类分析能力,但发布健康、实验结论和风险中止仍是不同判断。
第04章 用多样的现实世界事件做验证
现实事件包括硬件与软件故障、延迟和分区、资源耗尽、状态不一致、重试风暴、资源竞争及异常调用组合。无需穷尽全部可能,选事件时权衡频率、影响范围、注入成本、技术难度和组织文化;高影响的区域事件即使低频也可能值得验证。故意发布坏代码风险过大,可以模拟它引起的服务调用异常,但这种替代只覆盖相同症状。
故障域是故障影响及隔离的范围。隔离阻止传播,冗余或优雅降级让用户仍能得到可接受服务;两者承担不同职责。共享资源可能把多个看似独立组件连接成同一故障域,所以应注入根因事件,实际验证架构所宣称的边界。围绕共同症状验证能覆盖多种根因的部分后果,但不能证明所有额外副作用均已覆盖。Blockade通过Docker宿主网络构造分区、丢包与延迟,是书中的具体工具例子。
FIT功能强大却因人工配置和接受成本难以普及,说明具备注入能力不等于形成有效实践。规范化原则为集中团队和服务所有者提供共同目标及评价语言。人处理故障的流程、工具也可成为实验对象,因为可用性同样依赖人的响应。
本节进一步的机制与边界:按风险选事件;故障域要验证;隔离并非容错;Blockade模拟网络故障;故障症状可复用验证。
第05章 在生产环境中进行实验
外部有效性是实验结论能否推广到真正关心的条件。代码单元测试尽早发现局部逻辑错误有利于定位,而混沌工程关心的是实际系统整体。生产环境的四类差异因此特别重要:状态、输入、第三方依赖和持续变更。数据库只是状态之一,配置、缓存、消息、内存数据、伸缩组数量及网络设备都能影响后续行为;即使自称无状态服务,也可能持有请求间状态。
用户会输入未预见的组合,浏览器、网络、DNS、NTP和云服务又扩大了系统边界。这些真实组合难以被测试环境完整复制。本书因而主张越接近生产越能降低外部有效性的威胁,但也承认安全关键场景可能不能直接干预。不能在生产做时,尽量逼近生产并明确结论范围。金融机构使用灾备和生产前端重建条件的案例是历史方案,不是绕开现行制度的行动建议。Chaos Lambda与Azure Fault Analysis Service展示平台特定工具定位。
接近真实环境需要风险前提:先修已知会崩的点,在执行前有立即停止注入的能力;更好的是关键指标可能受损时自动终止。终止是遏制手段,不保证损害自动回滚。最小化爆炸半径使获得信息与用户风险同时进入设计,下一章进一步区分自动化带来的比较能力与下一章之后的范围控制。
本节进一步的机制与边界:生产才有外部有效性;状态藏在各处;真实输入不可模拟;Lambda模拟实例失效;FAS面向微软服务平台。
第06章 自动化实验以持续运行
一次成功实验的证据会随系统变化而衰减。代码、配置、缓存、伸缩和时间敏感逻辑持续变化,难以先验判定哪次变化会破坏原有结论。谨慎的手工首次实验可以建立信心,之后反复人工执行会争夺服务团队的开发时间,容易被放弃。自动化目标包括执行、分析及进一步的实验创建,平台团队承担降低使用门槛的责任。
ChAP的设计解决两个问题:人工步骤限制推广,总体业务指标又会把小范围影响埋在噪声里。它根据Spinnaker信息复制控制与实验节点,平均分配少量流量,仅在实验组施加故障,通过一一比较更容易看到小影响,同时限制并行实验的相互干扰。对照和隔离带来的是更好的辨认条件,仍须检查流量代表性及共享资源。持续交付集成使发布变化能更早暴露风险;书中关于不立即降级的选择有发现问题的目的,不是取消全局安全终止。
自动设计实验更困难,因为事件组合不可穷尽。LDFI从系统正常行为推断可能导致失败的事件组合,以缩小候选空间。书中介绍2015年与Netflix FIT结合的研究,不提供所有实现细节;相关论文作为延伸文献登记。它与自动执行职责不同,不能因为已经定期执行一个脚本就宣称完成自动实验设计。
第07章 最小化爆炸半径
爆炸半径是实验可能影响的用户和系统范围。设计时选少量用户也可能因共享资源或级联故障影响更多人,所以范围是待验证的边界,不能只以实验分组数为保证。充分真实的全量实验能带来更多确定性,也承担更大风险,应在前一步证据基础上渐进。
第一层是少量客户端或流程,用作早期检查;第二层小规模扩散,流量遵循正常路由,通常不触发聚合阈值,主要观察单个请求的超时和预案;第三层小规模集中,将实验用户导向特定节点,让断路器、资源上限及锁竞争等聚合效应出现,同时约束用户范围;最后无自定义路由的大规模实验,可能通过共享资源影响实验组以外的人。它们回答的问题不同,小规模成功不能直接替代大规模条件的证据。
每一层都需要预先定义指标和中止条件,尤其重复自动实验应能自动终止;避开人员难以及时响应的高风险时段。实验工具自身若改变目标指标,就会混淆故障效应与仪器影响,故应关注工具开销及一次只检验一个可控事件。终止能力是必要护栏,并非证明实验不会造成不可逆后果。
第三部分 混沌工程实践
工具和原则必须与实际系统适配,框架不会自动替组织构建、调度或解释所有实验。分部导言回应金融与医疗领域对客户和安全风险的疑虑,提出故障不会因不实验就消失,提前掌握影响有潜在价值。它借临床试验说明科学实验也有风险,但这个类比不能代替具体领域的伦理、合规及安全审查。
这部分的作用是把前面五项原则落实成设计和改进路径:先用实验步骤检查一次方案是否完整,再用成熟度模型选择组织的下一投入方向。本次实践仅交付决策、隔离模拟和源码阅读计划,未执行任何故障注入或现实干预。
第08章 设计实验
实验闭环从假设开始:明确某依赖超时、主库故障或沟通工具不可用时,关心的用户结果应怎样保持。随后限定范围,选择能验证假设的指标并定义合理值与中止阈值。书中失败请求不超过5%只是举例,不能当作任何业务的通用阈值。第一次执行应协调参与、受影响及有顾虑的团队,说明做什么、为什么和何时进行;组织熟悉以后沟通机制可以常规化,仍要遵守自己的制度。
执行期间持续观察关键业务结果,必要时立即终止;结束后以预先选定的指标检验假设,识别意外现象,并让涉及多个服务的团队共同处理风险。取得小范围证据后才扩大范围,手工方案可信后再周期自动化。这个顺序让结果变成可重复的知识,而不是一次性冒险。人及应急通信流程也在系统边界内,应可在安全、获授权的演习中验证。
第09章 混沌工程成熟度模型
CMM用两个独立维度讨论项目:熟练度关注实验是否安全、可靠、有效,应用度关注覆盖的深度和广度及组织实际采用程度。只提升工具能力而缺少重要服务采用,收益有限;只迅速扩大采用而缺少判断和停止能力,会放大风险。图9-1的箭头以ChAP为历史示例,表示当时应把投入从提高熟练度转向提高应用度,不是一个对所有组织通用的固定路线。
熟练度分入门、简单、高级、熟练,从非生产人工实验及系统指标,逐步到业务指标对照、自动分析和停止、交付集成,再到动态范围、容量与收入影响等分析。应用度分暗中进行、适当投入度、正式采用、成为文化,逐步把偶尔少量尝试变成关键服务的规律实践、专职支持、故障回归及入职训练。最高层默认组件参与,不参与需说明,体现的是默认工作方式变化。模型用来找当前瓶颈,不能用最高级标签代替对每次实验安全与有效性的检查。
第10章 结论
结论把高交付速度与系统弹性并列,鼓励读者继续参与经验积累。社区、文章与项目清单反映本书成稿时的生态,当前可用性与维护状态未由原文证明。工具按对象区分:Simoorg突出插件化扩展;Pumba、Blockade和Tugbot面向Docker及网络或生产测试;Chaos Lemur面向BOSH虚拟机,Chaos Lambda面向AWS伸缩组,Monkey-Ops针对OpenShift V3.X组件,Chaos Dingo针对Azure相关服务;Chaos-http-proxy在HTTP代理层注入请求故障。这个区分有助于先明确事件和平台,再找合适注入点,不能只看工具名字选择。
结尾三本书提供不同的思考背景。《Drift Into Failure》关注系统随时间滑向不安全状态,提醒人们看交互与持续变化;《To Engineer Is Human》强调从失败学习如何改进设计;《Searching for Safety》讨论以风险管理与试错促进长期安全。混沌工程与它们的联系是用有边界的实验提早获取失败证据,不能由此推出应回避所有风险,也不能推出任何风险都值得承担。具体行业约束和实验停止条件仍须独立成立。
本节进一步的机制与边界:Simoorg以组件扩展;Pumba面向容器网络;ChaosLemur终止虚拟机;HTTP代理可注入故障;MonkeyOps针对平台组件;Dingo面向Azure;Tugbot定位容器生产测试;系统会渐滑向失效;失败也是设计证据;管理风险胜于幻想无险。
跨章综合
复杂性论证与实验设计互相连接。第二章的缓存—缩容—重试正反馈告诉我们,局部测试即使都通过,也可能没有覆盖整体交互;第三章因此以用户结果定义稳态,而不是只用单个节点负载判断成功。第四章的故障域把风险传播纳入观察,第五章的外部有效性则要求思考实验条件与目标条件之间有什么差异。这些都在限定证据究竟说明什么。
第六章的控制组和实验组试图在小范围内辨认影响,第七章的扩散与集中实验进一步说明“小”有不同含义:均匀分散的故障和集中到节点的故障,会触发不同机制。小流量对照不能自动证明峰值容量或跨区域恢复,故应按假设选择范围,而非简单追求尽可能多的流量。持续自动化维持证据的新鲜度,自动中止限制代价,二者是不同能力。
最后,工具推广和成熟度模型把技术证据接到组织改进。人员、沟通工具和实验创建成本都会影响实验能否持续;熟练度与应用度应根据当前瓶颈平衡。成功不是拥有最多工具或产生最多故障,而是反复将新发现转成更可靠的设计、恢复能力与共享认识。
发散与实践
以下为读者延伸。两张历史Cardbox计划分别评估导入数量异常的提示决策,以及设计完整隔离资料库上的边界输入实验;计划使用真实配置模型、来源身份与一致性快照,不把只复制数据库视为完整隔离。当前仅修订并交付计划,没有运行故障注入、修改程序或数据库。
第三项深读成熟实验框架的稳态、结果判断、终止与回滚调度。它关注调用链的责任边界:事前事后探针、流程中止、持续监测及恢复保证不能混称为“自动终止”。公开资料与固定版本入口在概览所列实践材料中;所有后续实验仍须单独明确范围和授权。