来源书籍

混沌工程Netflix系统稳定性之道 2019

Skill 版本:v23 经典原理(高浓度 + 高稳定性) 50 张卡片

Casey Rosenthal、Lorin Hochstein、Aaron Blohowiak、Nora Jones、Ali Basiri · 侯杰 译 · 电子工业出版社 · 2019-08 · 2019年8月第1版 · ISBN 978-7-121-36351-1

全书导读

本书讨论怎样在无法穷尽预测的复杂系统中,用可控制的实验发现未知脆弱点,并建立对系统弹性的证据信心。读者需要区分三个对象:事件是施加的条件,稳态是希望保持的用户结果,爆炸半径是实验可能影响的范围。注入成功只表示条件被施加,并不表示实验假设成立;业务保持正常也只支持已验证的条件。

当前笔记依据2019年8月第一版中译本(原版2017年)及已核验的本地EPUB,所有Netflix工具、频率、组织状态和行业例子都按成稿情境理解。出版信息取版权页与书名页;OPF日期与其冲突时采用版权页,不沿用旧交接误写的人民邮电出版社。

全书主线

第一部分先解释为什么局部正确无法保证整体可靠,第二部分用五项原则把探索转成有边界的证据获取,第三部分再给实验闭环与组织改进坐标。稳态与假设规定要判断什么,现实事件规定研究什么变化,接近生产减少结论迁移的差异,自动化让证据跟随系统持续更新,爆炸半径和中止机制则限制学习代价。

这些原则相互制约:扩大流量可能提高代表性,也可能触发共享资源或断路器的新效应;把流量隔离并设置对照,可能降低风险并改善小信号辨认,却不能替代对全局故障域的认识。实验最终服务于架构和协作改进,工具与成熟度标签都不能代替一次具体实验的假设、指标、边界和结论。

flowchart LR
 A[业务结果与稳态] --> B[可检验假设]
 B --> C[选择现实事件与最小范围]
 C --> D[观察并与基准比较]
 D --> E[修复与更新认识]
 E --> F[逐步扩展及持续验证]
 G[监测与中止护栏] --> C
 G --> D

序

序言把混沌工程放在组织和架构一起变化的背景里:云服务、服务化和团队自治带来效率,也增加依赖和故障传播的不确定性。面向失败设计,就是先接受资源和服务可能失效,再让架构有对应的隔离、冗余与恢复能力。实验主动暴露已有弱点,应有恰当时机、稳态和终止条件。

这段中国团队历史实践还提出评价问题:实验次数、场景数只是过程量,价值应联系到历史故障改进是否有效、监控能否及时发现,以及发现—定位—恢复时长。先明确希望增强的能力,才知道怎样评价工具和推广效率。上述具体时间和团队实践属于2019序言背景,不是当前行业状态的调查。

本节进一步的机制与边界:稳定性目标重于次数。

原书依据 · 1 处

译者序

译者从微服务扩张说明复杂性:服务越来越多,依赖和交互使传统测试难以预先覆盖全部行为;开发者同时容易低估引入新架构的风险。混沌工程要求接受系统仍会有缺陷,以实验及早找到风险,并让防御能力内建到开发过程。译者将这一思路与《反脆弱》联系,这是译者的解释框架,不是对所有系统“越复杂必然越脆弱”的无条件证明。

最具体的例子来自备用存储:切断第三方依赖后,上传图片能存到备用空间,链条末端部分读取服务却取不到图片。局部写入成功掩盖了端到端不一致,实验组控制限制了最初受影响流量。修复后重复验证能防止后续变更再次引入盲点。这里说明的是端到端依赖与验证,不包含并发扣款等资金正确性机制。

本节进一步的机制与边界:备用路径须端到端验证。

原书依据 · 1 处

第一部分 混沌工程介绍

混沌工程以实验建立对复杂分布式系统抵御突发事件能力的信心。弹性在这里是面对故障并从故障中恢复的能力。系统的硬盘、网络、容量和依赖都会变化,重点因此从“完全阻止故障”转为主动识别会使故障扩大成严重业务后果的脆弱环节,再有针对性地加固。

这一分部回顾了本书Netflix案例的演进:从Chaos Monkey关闭节点,到Chaos Kong模拟区域失效,再到FIT和自动化平台。规模扩大不是任意增加破坏,而是逐渐形成能获得有效认识的实验原则。工具适合Netflix自身条件,原则才是作者希望读者迁移的对象。STG、强制终止进程等只是粒度示例,并不是本次实践的执行指令。

第01章 为什么需要混沌工程

混沌工程通过事先设计的扰动,观察复杂系统是否表现出原先不知道的行为。传统断言测试擅长验证已知属性,例如特定输入应输出什么;实验则围绕预期提出问题,可能发现新的相互作用。故障注入是一种施加条件的手段,与探索性实验有重叠,但实验还可研究流量激增、资源竞争、异常返回或特殊输入组合等未必属于“故障”的事件。

开展前要有两个基本条件:系统已经具备应对该事件的合理弹性,且可以观察系统行为。若已确定某事件必然造成严重事故,应先修复已知弱点;缺少监控则连结论也无从判断。飞机控制的试验和其他行业例子说明方法可以迁移,但风险容忍度、设施和安全制度要独立判断,不能照搬娱乐服务。

本书的Chaos Monkey案例用高频单节点失效建立共同工程约束:任一节点掉线仍应保持端到端服务。冗余、回滚和自动恢复才是应对手段,关闭节点只是验证与促成设计习惯的事件。一次误部署使唯一节点被关闭,说明演习可把损害提前暴露在更有条件响应的工作时段;不意味着所有环境都可无条件照做。

本节进一步的机制与边界:实验发现未知;先有弹性再混沌;把痛苦提前。

原书依据 · 5 处

第02章 管理复杂性

架构选择同时受性能、可用性、容错能力和端到端新功能开发速度约束。微服务让团队独立开发、部署及运维,同时增加跨团队沟通和依赖治理成本。康威定律提醒人们,系统结构与组织的沟通结构有关;自治仍需共同目标和有效协调。混沌工程在这里提供对弹性的实证信心,支持继续变化。

七个微服务的调用图展示,一个入口请求可以迅速扩散到多层依赖。真正的问题不是单个服务太难理解,而是规模、频繁变更与非计划交互超过个人的完整预测能力。书中牛鞭效应案例把这个限制具体化:手机离线积攒请求,恢复后突发访问集中到固定用户节点;缓存降级使CPU和I/O下降,自动伸缩误以为可回收节点;流量迁移、超时、失去个性化和用户刷新继续强化循环,最终导致服务及上游中断。各个局部策略都可能合理,组合却产生系统失效,因此复盘和实验不能只寻找一个坏组件。

Chaos Kong将验证范围扩大到区域故障恢复。本书Netflix控制平面当时跨三个AWS区域,区域事故之后开发了平滑迁移策略,再通过模拟一个区域失效的重复演习暴露缺口。部署在多个区域只提供结构条件,演习才检验实际恢复和跨团队配合。CDN与控制平面的区分限定了案例范围,不能把区域演习概括成关闭所有视频传输基础设施。

本节进一步的机制与边界:架构四维权衡;复杂系统不可穷尽;牛鞭效应故障;跨区域切换需要演习。

原书依据 · 5 处

第二部分 混沌工程原则

“混沌”描述要研究的系统不确定性,不表示实验应随意。对复杂软件缺少可完整预测全部输入响应的模型,作者因而采用经验实验;实验之前仍需系统分析,以便每次获得有用信息。这里的电路传递函数只是对照说明,不意味着所有软件都无法建立任何局部模型。

FIT说明如何把实验条件精准带入请求链:在选定的一类请求头里记录失败场景,服务故障锚点读到标记后返回相应故障。把一小部分用户纳入实验,能够检查依赖用户数据服务失败时基础播放是否仍可用。请求级选组还不等于全部资源已经隔离,故后文继续讨论故障域与爆炸半径。

随后五项原则分别回答:怎样判断正常、注入什么、在哪验证、怎样持续、怎样控制影响。它们不是随机工具列表,而是一组相互约束的实验设计问题。文末Sloth的历史网络故障守护进程例子强调预防发现,而非只在事故后响应。

本节进一步的机制与边界:FIT沿请求传播故障;Sloth以节点守护注入。

原书依据 · 2 处

第03章 建立稳定状态的假设

稳定状态是系统正常时会维持的合理范围或模式。它要与客户接受程度和服务水平协议一致,因此不能只说“机器没挂”。系统指标如CPU和I/O有助于诊断;业务指标如用户能否付款、能否开始播放,更接近系统实际交付的价值。Netflix的SPS是每秒开始播放数,是满意度的间接代理而非满意度本身。指标选择还须考虑采集工作量、与架构的关系和反馈时延;客户端观测可以补充服务端指标。

稳定不等于恒定。SPS随时间周期变化,图3-1中当周与上周的曲线虽起伏却大体重合,因此可用历史模式比较异常。新闻等不可预测事件也会使需求激增,基线模型须反映业务而非机械使用同一个阈值。指标和模式共同界定了“正常”,还须给出允许偏差,才有可检验假设。

Netflix常见假设是注入非关键服务故障或区域迁移后,SPS不会明显偏离稳态。这个假设并不要求组件都无异常,例如个性化列表可降级成默认列表;它要求核心用户结果仍可接受。ACA自动金丝雀分析把新版本集群与同等规模旧版本基准集群比较,用系统及自定义指标评分。混沌实验可复用这类分析能力,但发布健康、实验结论和风险中止仍是不同判断。

本节进一步的机制与边界:业务指标定稳态;稳态是模式;先假设再实验;指标也要权衡时延;金丝雀对照判稳态。

原书依据 · 6 处

第04章 用多样的现实世界事件做验证

现实事件包括硬件与软件故障、延迟和分区、资源耗尽、状态不一致、重试风暴、资源竞争及异常调用组合。无需穷尽全部可能,选事件时权衡频率、影响范围、注入成本、技术难度和组织文化;高影响的区域事件即使低频也可能值得验证。故意发布坏代码风险过大,可以模拟它引起的服务调用异常,但这种替代只覆盖相同症状。

故障域是故障影响及隔离的范围。隔离阻止传播,冗余或优雅降级让用户仍能得到可接受服务;两者承担不同职责。共享资源可能把多个看似独立组件连接成同一故障域,所以应注入根因事件,实际验证架构所宣称的边界。围绕共同症状验证能覆盖多种根因的部分后果,但不能证明所有额外副作用均已覆盖。Blockade通过Docker宿主网络构造分区、丢包与延迟,是书中的具体工具例子。

FIT功能强大却因人工配置和接受成本难以普及,说明具备注入能力不等于形成有效实践。规范化原则为集中团队和服务所有者提供共同目标及评价语言。人处理故障的流程、工具也可成为实验对象,因为可用性同样依赖人的响应。

本节进一步的机制与边界:按风险选事件;故障域要验证;隔离并非容错;Blockade模拟网络故障;故障症状可复用验证。

原书依据 · 5 处

第05章 在生产环境中进行实验

外部有效性是实验结论能否推广到真正关心的条件。代码单元测试尽早发现局部逻辑错误有利于定位,而混沌工程关心的是实际系统整体。生产环境的四类差异因此特别重要:状态、输入、第三方依赖和持续变更。数据库只是状态之一,配置、缓存、消息、内存数据、伸缩组数量及网络设备都能影响后续行为;即使自称无状态服务,也可能持有请求间状态。

用户会输入未预见的组合,浏览器、网络、DNS、NTP和云服务又扩大了系统边界。这些真实组合难以被测试环境完整复制。本书因而主张越接近生产越能降低外部有效性的威胁,但也承认安全关键场景可能不能直接干预。不能在生产做时,尽量逼近生产并明确结论范围。金融机构使用灾备和生产前端重建条件的案例是历史方案,不是绕开现行制度的行动建议。Chaos Lambda与Azure Fault Analysis Service展示平台特定工具定位。

接近真实环境需要风险前提:先修已知会崩的点,在执行前有立即停止注入的能力;更好的是关键指标可能受损时自动终止。终止是遏制手段,不保证损害自动回滚。最小化爆炸半径使获得信息与用户风险同时进入设计,下一章进一步区分自动化带来的比较能力与下一章之后的范围控制。

本节进一步的机制与边界:生产才有外部有效性;状态藏在各处;真实输入不可模拟;Lambda模拟实例失效;FAS面向微软服务平台。

原书依据 · 6 处

第06章 自动化实验以持续运行

一次成功实验的证据会随系统变化而衰减。代码、配置、缓存、伸缩和时间敏感逻辑持续变化,难以先验判定哪次变化会破坏原有结论。谨慎的手工首次实验可以建立信心,之后反复人工执行会争夺服务团队的开发时间,容易被放弃。自动化目标包括执行、分析及进一步的实验创建,平台团队承担降低使用门槛的责任。

ChAP的设计解决两个问题:人工步骤限制推广,总体业务指标又会把小范围影响埋在噪声里。它根据Spinnaker信息复制控制与实验节点,平均分配少量流量,仅在实验组施加故障,通过一一比较更容易看到小影响,同时限制并行实验的相互干扰。对照和隔离带来的是更好的辨认条件,仍须检查流量代表性及共享资源。持续交付集成使发布变化能更早暴露风险;书中关于不立即降级的选择有发现问题的目的,不是取消全局安全终止。

自动设计实验更困难,因为事件组合不可穷尽。LDFI从系统正常行为推断可能导致失败的事件组合,以缩小候选空间。书中介绍2015年与Netflix FIT结合的研究,不提供所有实现细节;相关论文作为延伸文献登记。它与自动执行职责不同,不能因为已经定期执行一个脚本就宣称完成自动实验设计。

本节进一步的机制与边界:实验信心会衰减;自动化放大实验;从正确路径找故障;人工咨询难以规模化。

原书依据 · 4 处

第07章 最小化爆炸半径

爆炸半径是实验可能影响的用户和系统范围。设计时选少量用户也可能因共享资源或级联故障影响更多人,所以范围是待验证的边界,不能只以实验分组数为保证。充分真实的全量实验能带来更多确定性,也承担更大风险,应在前一步证据基础上渐进。

第一层是少量客户端或流程,用作早期检查;第二层小规模扩散,流量遵循正常路由,通常不触发聚合阈值,主要观察单个请求的超时和预案;第三层小规模集中,将实验用户导向特定节点,让断路器、资源上限及锁竞争等聚合效应出现,同时约束用户范围;最后无自定义路由的大规模实验,可能通过共享资源影响实验组以外的人。它们回答的问题不同,小规模成功不能直接替代大规模条件的证据。

每一层都需要预先定义指标和中止条件,尤其重复自动实验应能自动终止;避开人员难以及时响应的高风险时段。实验工具自身若改变目标指标,就会混淆故障效应与仪器影响,故应关注工具开销及一次只检验一个可控事件。终止能力是必要护栏,并非证明实验不会造成不可逆后果。

本节进一步的机制与边界:信心与风险同增;实验范围分层;自动终止是护栏;实验仪器会扰动结论。

原书依据 · 4 处

第三部分 混沌工程实践

工具和原则必须与实际系统适配,框架不会自动替组织构建、调度或解释所有实验。分部导言回应金融与医疗领域对客户和安全风险的疑虑,提出故障不会因不实验就消失,提前掌握影响有潜在价值。它借临床试验说明科学实验也有风险,但这个类比不能代替具体领域的伦理、合规及安全审查。

这部分的作用是把前面五项原则落实成设计和改进路径:先用实验步骤检查一次方案是否完整,再用成熟度模型选择组织的下一投入方向。本次实践仅交付决策、隔离模拟和源码阅读计划,未执行任何故障注入或现实干预。

第08章 设计实验

实验闭环从假设开始:明确某依赖超时、主库故障或沟通工具不可用时,关心的用户结果应怎样保持。随后限定范围,选择能验证假设的指标并定义合理值与中止阈值。书中失败请求不超过5%只是举例,不能当作任何业务的通用阈值。第一次执行应协调参与、受影响及有顾虑的团队,说明做什么、为什么和何时进行;组织熟悉以后沟通机制可以常规化,仍要遵守自己的制度。

执行期间持续观察关键业务结果,必要时立即终止;结束后以预先选定的指标检验假设,识别意外现象,并让涉及多个服务的团队共同处理风险。取得小范围证据后才扩大范围,手工方案可信后再周期自动化。这个顺序让结果变成可重复的知识,而不是一次性冒险。人及应急通信流程也在系统边界内,应可在安全、获授权的演习中验证。

本节进一步的机制与边界:实验闭环;实验常规化;人员与沟通也是依赖。

原书依据 · 4 处

第09章 混沌工程成熟度模型

CMM用两个独立维度讨论项目:熟练度关注实验是否安全、可靠、有效,应用度关注覆盖的深度和广度及组织实际采用程度。只提升工具能力而缺少重要服务采用,收益有限;只迅速扩大采用而缺少判断和停止能力,会放大风险。图9-1的箭头以ChAP为历史示例,表示当时应把投入从提高熟练度转向提高应用度,不是一个对所有组织通用的固定路线。

熟练度分入门、简单、高级、熟练,从非生产人工实验及系统指标,逐步到业务指标对照、自动分析和停止、交付集成,再到动态范围、容量与收入影响等分析。应用度分暗中进行、适当投入度、正式采用、成为文化,逐步把偶尔少量尝试变成关键服务的规律实践、专职支持、故障回归及入职训练。最高层默认组件参与,不参与需说明,体现的是默认工作方式变化。模型用来找当前瓶颈,不能用最高级标签代替对每次实验安全与有效性的检查。

本节进一步的机制与边界:成熟度双轴;熟练度的方向;成为工程文化。

原书依据 · 4 处

第10章 结论

结论把高交付速度与系统弹性并列,鼓励读者继续参与经验积累。社区、文章与项目清单反映本书成稿时的生态,当前可用性与维护状态未由原文证明。工具按对象区分:Simoorg突出插件化扩展;Pumba、Blockade和Tugbot面向Docker及网络或生产测试;Chaos Lemur面向BOSH虚拟机,Chaos Lambda面向AWS伸缩组,Monkey-Ops针对OpenShift V3.X组件,Chaos Dingo针对Azure相关服务;Chaos-http-proxy在HTTP代理层注入请求故障。这个区分有助于先明确事件和平台,再找合适注入点,不能只看工具名字选择。

结尾三本书提供不同的思考背景。《Drift Into Failure》关注系统随时间滑向不安全状态,提醒人们看交互与持续变化;《To Engineer Is Human》强调从失败学习如何改进设计;《Searching for Safety》讨论以风险管理与试错促进长期安全。混沌工程与它们的联系是用有边界的实验提早获取失败证据,不能由此推出应回避所有风险,也不能推出任何风险都值得承担。具体行业约束和实验停止条件仍须独立成立。

本节进一步的机制与边界:Simoorg以组件扩展;Pumba面向容器网络;ChaosLemur终止虚拟机;HTTP代理可注入故障;MonkeyOps针对平台组件;Dingo面向Azure;Tugbot定位容器生产测试;系统会渐滑向失效;失败也是设计证据;管理风险胜于幻想无险。

原书依据 · 10 处

跨章综合

复杂性论证与实验设计互相连接。第二章的缓存—缩容—重试正反馈告诉我们,局部测试即使都通过,也可能没有覆盖整体交互;第三章因此以用户结果定义稳态,而不是只用单个节点负载判断成功。第四章的故障域把风险传播纳入观察,第五章的外部有效性则要求思考实验条件与目标条件之间有什么差异。这些都在限定证据究竟说明什么。

第六章的控制组和实验组试图在小范围内辨认影响,第七章的扩散与集中实验进一步说明“小”有不同含义:均匀分散的故障和集中到节点的故障,会触发不同机制。小流量对照不能自动证明峰值容量或跨区域恢复,故应按假设选择范围,而非简单追求尽可能多的流量。持续自动化维持证据的新鲜度,自动中止限制代价,二者是不同能力。

最后,工具推广和成熟度模型把技术证据接到组织改进。人员、沟通工具和实验创建成本都会影响实验能否持续;熟练度与应用度应根据当前瓶颈平衡。成功不是拥有最多工具或产生最多故障,而是反复将新发现转成更可靠的设计、恢复能力与共享认识。

发散与实践

以下为读者延伸。两张历史Cardbox计划分别评估导入数量异常的提示决策,以及设计完整隔离资料库上的边界输入实验;计划使用真实配置模型、来源身份与一致性快照,不把只复制数据库视为完整隔离。当前仅修订并交付计划,没有运行故障注入、修改程序或数据库。

第三项深读成熟实验框架的稳态、结果判断、终止与回滚调度。它关注调用链的责任边界:事前事后探针、流程中止、持续监测及恢复保证不能混称为“自动终止”。公开资料与固定版本入口在概览所列实践材料中;所有后续实验仍须单独明确范围和授权。

生成进度与管理记录

混沌工程:Netflix系统稳定性之道 2019

历史首次Skill版本:book-notes v8;旧概览及全部历史管理记录原文保存在生成前基线,不以本次v23覆盖首次版本。 本次实际使用规则:book-workflow v4 / book-notes v23(2026-10-24)。 执行模式:light 建档进度:done 类别(历史):混沌工程与系统韧性类 四象限结论:经典原理(高浓度 + 高稳定性) 评级理由:复用原有评级。核心围绕复杂系统局部正确却整体失效的推理、业务稳态、外部有效性、故障域、对照比较与渐进控制,均有跨工具的稳定价值;工具目录和Netflix频率限于2017原版/2019中译本成稿情境。 整书笔记:_book_note.md,schema1;15实质正文项、跨章综合与实践概述独立可读。 本轮成果:50知识卡(旧26保留、新24),3实践计划(决策1、真实任务1、实现深读1);实践未实际执行。 模式边界:未执行笔记复核、独立审查及审查结果优化,历史_card_review.md不代表本轮已审查。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 序 done 1
11 译者序 done 1
I 第一部分 混沌工程介绍 done 0
01 第01章 为什么需要混沌工程 done 3
02 第02章 管理复杂性 done 4
12 第二部分 混沌工程原则 done 2
03 第03章 建立稳定状态的假设 done 5
04 第04章 用多样的现实世界事件做验证 done 5
05 第05章 在生产环境中进行实验 done 5
06 第06章 自动化实验以持续运行 done 4
07 第07章 最小化爆炸半径 done 4
III 第三部分 混沌工程实践 done 0
08 第08章 设计实验 done 3
09 第09章 混沌工程成熟度模型 done 3
10 第10章 结论 done 10

非正文排除

spine项 类型 排除理由
01 titlepage.xhtml 封面 SVG封面图片与样式,无论述正文
02 OEBPS/Text/Section0001.xhtml 封面 重复封面图,无论述正文
03 OEBPS/Text/Section0002.xhtml 书名页 出版身份图,已实际看图核验作者/译者/出版社,非论述正文
04 OEBPS/Text/Section0003.xhtml 内容简介 宣传性内容与读者对象介绍,不含独立机制或论证
05 OEBPS/Text/Section0004.xhtml 版权页 出版信息、版权声明与发行联系,无章节论述;出版元数据已采用
06 OEBPS/Text/Section0005.xhtml 出版社介绍 O’Reilly宣传介绍及评论,无混沌工程实质论述
09 OEBPS/Text/Section0008.xhtml 译者介绍 人物履历,不含方法解释
10 OEBPS/Text/Section0009.xhtml 审校者介绍 人物履历,不含方法解释
24 OEBPS/Text/Section0023.xhtml 封底 封底图片,无论述正文

待关联术语

术语名 出现章节 一句话语境
SRE 译序 可靠性实践并列提名
DevOps 译序 既有方法提名,未展开定义
蓝绿部署 译序 与金丝雀等并列的既有方法
Elasticsearch 01 CPU过载实验对象示例
深度学习/神经网络/遗传算法 02 为人不能理解全部中间行为的对比提名
etcd 05 动态配置服务提名,状态概念已由正文和状态卡承接
DNS/SMTP/NTP 05 外部依赖名称,交互边界已并入真实输入卡
A/B测试 09 成熟度特征提名,未展开方法

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
反脆弱 书 译序 译者对从不确定性获益的解释背景
Principles of Chaos Engineering 框架 I 五项原则文档,正文原则分别成卡
Flight control breakthrough could lead to safer air travel 论文 01 飞机控制历史案例出处,原书未展开控制算法
Drift Into Failure 书 II 分部引语,结论实质介绍已成卡
Automating Failure Testing Research at Internet Scale 论文 06 LDFI与Netflix FIT研究入口
Fault Injection in Production: Making the Case for Resiliency Testing 论文 10 推荐文章标题,未展开
Inside Azure Search: Chaos Engineering 论文 10 推荐文章标题,未展开
Organized Chaos With F# 论文 10 推荐文章标题,未展开
Chaos Engineering 101 论文 10 推荐文章标题,未展开
Meet Kripa Krishnan, Google’s Queen of Chaos 论文 10 推荐文章标题,未展开
Facebook Turned Off Entire Data Center to Test Resiliency 论文 10 推荐文章标题,未展开
On Designing And Deploying Internet-Scale Services 论文 10 推荐文章标题,未展开
Spinnaker 源码项目 06 持续发布平台,ChAP集成能力并入自动化卡,平台本身未展开

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— — — 译序、III、05 金融行业与资产损失风险仅作背景,存储读写案例未展开并发、隔离或幂等导致的资金正确性问题,不补造资金案例。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 cardbox卡片骤降自动护栏评估 决策实践 done 07 修订计划,未执行案例或开发
2 cardbox分层混沌实验计划 真实任务 done 07、01 隔离方案,未运行故障实验
3 深读实验中止与回滚 实现深读 done 07、05、03 计划;_work-v4-20261024/practice-chaostoolkit-first-round.md含首轮固定源码映射

实践候选筛选:done

采用2项现存计划并更正不可核实的“本轮事故”断言、upsert删除误解、仅复制活跃db及不完整隔离等问题;新增1项成熟框架实现深读,已实际开始公开资料和固定提交研究。未采用云环境真实故障演习(无明确系统/安全边界和执行授权)、从零构建注入平台(先读成熟实现即可回答问题)、其他工具逐个部署(与当前对象无确定适配,重复且依赖历史状态)。本次done表示计划及必要首轮材料交付,不表示实验已执行。

版本与恢复

  • 当前源版本、24spine计划、ZIP全成员核验及图像阅读见_work-v4-20261024。
  • 旧26卡路径/标题全部保留,历史编号、关系与索引只读快照db-baseline.json;来源迁移及必要正文限域记录changed-old-cards.json。
  • 本次仅生成;当前阶段4导入对账/归档与阶段5验收由root执行。生成内容冻结以stage2-release.json为准,历史关系须在import后另行对账。

历史主题记录(保留)

以下为历史主题维护事实,未在本轮重新修改全局主题。

主题索引维护

本书系统讲解混沌工程;已有主题中无混沌工程主题,新建混沌工程与韧性实验 1 个主题,部分卡同时并入故障与高可用相关主题。

卡片标题 结论 主题文件或原因
实验发现未知 已创建 notes/_topics/chaos-engineering.md
先有弹性再混沌 已创建 notes/_topics/chaos-engineering.md
把痛苦提前 已创建 notes/_topics/chaos-engineering.md
架构四维权衡 已创建 notes/_topics/chaos-engineering.md
复杂系统不可穷尽 已创建 notes/_topics/chaos-engineering.md、notes/_topics/faults-partial-failure-clocks.md
牛鞭效应故障 已创建 notes/_topics/chaos-engineering.md、notes/_topics/faults-partial-failure-clocks.md
业务指标定稳态 已创建 notes/_topics/chaos-engineering.md
稳态是模式 已创建 notes/_topics/chaos-engineering.md
先假设再实验 已创建 notes/_topics/chaos-engineering.md
按风险选事件 已创建 notes/_topics/chaos-engineering.md
故障域要验证 已创建 notes/_topics/chaos-engineering.md、notes/_topics/high-availability-architecture.md
隔离并非容错 已创建 notes/_topics/chaos-engineering.md、notes/_topics/high-availability-architecture.md
生产才有外部有效性 已创建 notes/_topics/chaos-engineering.md
状态藏在各处 已创建 notes/_topics/chaos-engineering.md
真实输入不可模拟 已创建 notes/_topics/chaos-engineering.md
实验信心会衰减 已创建 notes/_topics/chaos-engineering.md
自动化放大实验 已创建 notes/_topics/chaos-engineering.md
从正确路径找故障 已创建 notes/_topics/chaos-engineering.md
信心与风险同增 已创建 notes/_topics/chaos-engineering.md
实验范围分层 已创建 notes/_topics/chaos-engineering.md
自动终止是护栏 已创建 notes/_topics/chaos-engineering.md
实验闭环 已创建 notes/_topics/chaos-engineering.md
实验常规化 已创建 notes/_topics/chaos-engineering.md
成熟度双轴 已创建 notes/_topics/chaos-engineering.md
熟练度的方向 已创建 notes/_topics/chaos-engineering.md
成为工程文化 已创建 notes/_topics/chaos-engineering.md

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

高可用与异地多活架构

比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。

398 张卡片 · 79 本书

主题索引

指标与监控

时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。

382 张卡片 · 58 本书

主题索引

测试有效性与验证手段

比较单元测试、变异、模糊测试、静态分析与故障注入各自能证明什么。

366 张卡片 · 63 本书

主题索引

变更发布与回滚安全

比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。

312 张卡片 · 75 本书

主题索引

混沌工程与韧性实验

比较混沌工程的稳态假设、实验设计、生产验证、爆炸半径控制与自动化,以及组织采纳成熟度对系统韧性的作用。

149 张卡片 · 18 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书