此笔记位置已失效,请从目录继续阅读。
全书导读
混沌工程是在受控条件下引入扰动、观察整个系统是否还能完成目标的方法。它把“我们相信会恢复”转成可以被证据推翻的假设。先确定业务需要的服务水准和观测方式,再选择故障对象、控制影响、检查恢复,比先挑一个破坏工具更重要。
本书由浅入深:第一部分从Linux服务和监控进入网络、数据库及生产测试;第二部分在容器、系统调用、JVM、应用和浏览器中选择不同注入点;第三部分先从Kubernetes应用副本开始,再自动化实验并深入控制平面和网络,最后把知识冗余和恢复流程迁移到团队。技术栈不同,实验的证据结构相同。
全书主线
可靠性先是业务问题:哪些行为必须正常、容许多少偏离,以及用什么指标测量。SLI是指标定义,SLO是目标范围,SLA则还包含对外约定和未达标后果。混沌实验以可观测性为前提,先确认稳态,再提出假设、引入受控故障并比对观察;一次未发现反例,只能增加对本次条件的信心。
随后需要建立系统模型。进程重启、容器资源限制、应用超时、浏览器错误处理和Kubernetes补副本位于不同层次;在某一层看到“恢复”不代表用户请求已经成功。故障注入点应来自模型中的依赖和弱点,结果则从端到端行为判断。观察还会受采样、缓存、工具开销和实验范围影响,因此需要保留条件和时间线。
flowchart TD
A[明确业务目标与指标口径] --> B[建立系统模型和可观测性]
B --> C[确认稳态并写可证伪假设]
C --> D[限定对象和故障范围]
D --> E[观察用户结果与恢复过程]
E --> F[修复后以同类故障回归]
F --> G[自动化并持续扩展观察条件]
书中命令和默认值属于其历史环境,许多示例以Kubernetes 1.18.3、特定Linux工具和库为背景。笔记保留机制、边界及实际原文,生成时对已知算术、统计和语法歧义作明确限定;这些阅读纠偏不是对现实系统已完成实验的声明。
推荐序一
推荐序以长期演化的系统复杂性引入故障注入,并串联Linux、JVM、Docker和Kubernetes多层实验。其四步方法与容错动机在第1章展开,不把“传统测试无能为力”等宣传性绝对表述作为排斥其他测试的结论。人物履历与译著评价保留为出版背景。
推荐序二
推荐序强调单个服务正常时,交互仍可能产生整体意外,并说明本书把实验扩展到前端与团队。这些论点分别由第1、9、13章实质展开;项目进入CNCF的历史时间线只保留为原书时点背景,不当作当前项目状态。
译者序
数据库故障实践与本书的联系
译者序以TiDB需要保证数据正确性和容错性为背景,介绍Chaos Mesh的开源与JVM故障功能。本书为其实现提供参考,说明实验思想能够落实成工具能力;这不是对当前项目功能与兼容性的核验。
相关知识卡:ChaosMesh故障平台。
原书依据 · 1 处
序言一
序言一把预先设计的测试情境与未曾预料的系统交互区分开,解释为什么要主动寻找隐藏脆弱点。此论证并入第1章关于测试补充和涌现性的解释;不能据此声称混沌实验能穷尽未知。
序言二
序言二把风险验证、整体评估和涌现性发现作为实践价值,强调VM限制练习范围,并预告应用内注入与外部工具的权衡。相关机制由第1、2、8章展开。重建VM只能恢复该环境范围,不作为所有外部依赖、数据与副作用都可撤销的保证。
第1章 进入混沌工程的世界
混沌工程通过可控实验检验系统抵抗突发事件的能力。它补充已有测试,不保证自动修复,也不限于生产环境或随机关闭机器。本章从业务成本导出目标,再解释组合失效及实验四步,最后用缓存等待故障说明端到端观测的重要性。
业务目标与指标口径
可靠性投入始于“哪些故障伤害业务,以及损失多少”,而不是任意追求更多个9。SLI描述如何测量服务,SLO规定目标,SLA还包含约定后果。这些概念依次把业务风险转成工程判断条件。分母、测量对象与窗口必须保持一致。原文的成功/错误比率、840毫秒换算和尾部均值解释存在口径或算术问题,因此卡片保留原书证据,同时明确说明纠偏推导;不以这些数字直接给具体系统制定目标。
相关知识卡:混沌工程验证抗扰能力、可靠性目标先问业务损失、SLI先明确测量口径、SLO是指标的目标范围、SLA加入违约约定、可用率预算须同口径、分位数不等于尾部均值。
组合行为与实验闭环
组件各自正确,并不代表组合系统在故障下仍满足要求。DNS恢复时的多层重试会集中放大流量,形成任一部件单独都没有的长期失效。混沌实验因此以系统行为为对象,按观测→稳态→假设→执行的顺序组织证据。随机条件可扩展探索范围,但不能替代控制变量、明确故障或解释结果。
相关知识卡:整体故障测试补足组件测试、涌现性来自部件交互、重试层叠放大故障、随机性必须服从实验控制、混沌实验形成四步闭环。
让结果可以判断和归因
可观测性解决“数据是否可信”,稳态解决“怎样算正常”,假设把特定故障与可测结果绑定。观察工具也会消耗CPU,邻居进程、调度、虚拟机和定时任务也能改变结果,因此看到变化不等于证明故障因果。重复实验可以帮助发现干扰,仍须记录和控制环境。符合预期与不符合预期都有学习价值,前提是保留测量条件和后续修复验证。
相关知识卡:观测工具也会扰动系统、稳态是明确的正常范围、环境变量会混淆实验、假设绑定故障与可测结果、负面实验结果仍有价值。
缓存案例:存活不代表可服务
虚构FizzBuzz架构由负载均衡器、两个API实例和共享缓存组成。防火墙配置阻断缓存后,API既没有立即报错,也没有设置等待超时,于是请求卡住,而进程健康检查继续显示正常。修复不仅需要超时,还要在测试生命周期中重现并撤销同一故障,比较旧版失败与新版响应。图中iptables写法省略必要语法,不作为本笔记可执行步骤;这里保留的是故障条件、业务观测和回归证据之间的联系。
相关知识卡:缓存无响应可拖住请求、超时修复要用同故障回归。
原书依据 · 2 处
第2章 来碗混沌与爆炸半径
可重现环境与黑盒线索
第二章把实验放在原书预配的VM中,借环境固定与日志线索开始黑盒分析。虚拟机隔离的是练习环境,不代表可把任何故障带入主机;复现应记录镜像与工具版本。当前笔记只读取资料和代码,没有下载VM或运行进程。
相关知识卡:预配虚拟机固定实验条件、黑盒排障从输入输出入手。
原书依据 · 2 处
退出与内存证据
退出状态和信号能提供调查方向,无法单独证明是谁发送信号或为什么发生。尤其应区分143的SIGTERM约定与OOM常见的SIGKILL路径,结合内核日志和内存状态取证。原书OOM打分叙述属于当时实现背景,不提升为跨版本算法保证。
相关知识卡:退出状态是线索而非根因、终止信号要区分语义、查看状态定位进程终止、OOM通过终止任务回收内存、内存异常要结合内核日志、OOM选取与日志开关分工。
检验端到端承诺
组件为什么会死亡和用户为什么收到错误,是两个相关但不同的问题。第二章以负载均衡和两个API实例为整体,先测基线、再错开终止实例。一次通过只覆盖了这个负载与故障节奏,并没有穷尽系统的重启边界。
爆炸半径与目标选择
实验可能影响的范围由计划和实现共同决定。小流量、先在QA验证等策略缩小后果;准确定位进程等实现措施减少误伤。字符串grep只是近似选择,不能把匹配集合误当目标集合。
相关知识卡:爆炸半径是可能影响范围、模糊进程匹配会误伤。
原书依据 · 2 处
故障频率暴露恢复边界
把一次故障加密成短间隔重复故障后,systemd启动限流使Restart=always也不再满足“总会恢复”的直觉。实验揭示的是多个恢复机制共同作用的边界,修订配置需要重跑相同条件;去掉限流并不修复API崩溃本身。
相关知识卡:故障节奏决定覆盖边界、总是重启仍受启动限流约束、关闭限流不能修复崩溃根因。
第3章 可观测性
先按资源建立调查地图
USE让调查者逐资源检查利用率、饱和度和错误,而非先猜一个熟悉工具。利用率是资源的已用程度,饱和度是当前尚不能处理、常在排队的工作,错误是失败事件的信号;它们各自回答不同问题。暗债是尚未意识到的未知风险,不等同于已有告警但没有处理。硬件、操作系统的软件资源、运行时和业务层都可能约束性能。调查到问题仍须辨认其是否解释当前症状,不能因为找到异常就提前停止。
相关知识卡:USE逐资源检查三类证据、利用率描述资源使用程度、饱和度看未能处理的工作、找到异常不等于找到根因、暗债是尚未意识到的未知、性能资源跨越多个层次。
系统趋势与内核记录
uptime给出趋势,dmesg给出内核事件。前者不是CPU百分比,后者没有出现字面error也不能认定无异常。指标和日志各有粒度、窗口和保留范围;本章的示例值来自原书VM,不是当前机器测量。
相关知识卡:平均负载不等于CPU百分比、内核日志补足资源诊断。
原书依据 · 2 处
容量与I/O忙碌是两维
磁盘既可能空间满,也可能处理请求过慢。df观察文件系统容量,iostat观察设备吞吐、队列和忙碌时间,biotop把活动进一步联系到进程。它来自BCC工具集,BCC在BPF/eBPF之上封装内核跟踪能力,帮助查看I/O或进程等事件;这并不承诺任何程序都零开销或自动安全。高%util仍不能单独证明业务瓶颈,复杂逻辑设备与并发能力会改变解释。
网络总览与进程归属
网络调查先看接口吞吐与错误,再看TCP连接、重传和重置,最后联系到进程。这里保留各命令的调查职责;采样期没有错误只能说明该时间段与计数口径下未观察到,不能排除所有网络问题。
相关知识卡:接口流量与错误分开观测、TCP统计揭示连接与重传、按进程追踪TCP带宽。
原书依据 · 3 处
区分可用内存和空闲内存
Linux把内存用于缓存,所以free小不必然表示即将OOM。应结合available估计、交换与任务等待,并以实际OOM事件确认受害进程;主机总量也不能替代特定工作负载或cgroup边界的判断。
从CPU时间分解到竞争机制
示例中的pi计算变慢不是程序停止,而是后台stress争用CPU。用户态、内核态、I/O等待与虚拟机steal描述不同时间;逐核观察能看见单线程和多线程分布。调度优先级、组权重、硬配额与绑核也必须分开,不能把创建cgroup说成自动专用一个核。
相关知识卡:CPU忙碌要分辨时间类别、逐核统计暴露负载分布、nice改变相对调度优先级、忙邻居能拖慢正确程序、CPU组权重不等于专用核。
把黑盒行为追到运行时
系统层追踪文件打开和进程执行,可以解释非自己编写的程序在做什么。Python分析器进一步把耗时与方法调用联系起来;USDT是软件预先定义的用户态静态跟踪端点,pythonstat等工具依赖运行时在构建时提供这些探针,而非任意Python安装都等价。工具观察的是不同切面,等待耗时、函数自身耗时和子调用累计耗时不能互换。
相关知识卡:文件与执行追踪揭示黑盒行为、cProfile自身与累计、USDT探针提供运行时观测点、Python统计与调用流分工。
从临时命令到连续证据
交互式工具有利于定位现场,但要人工持续运行。Prometheus定期抓取Node Exporter输出并带时间存储,Grafana负责组织展示,使指标可以沿时间比较。标签组合定义序列身份,累计CPU秒数也不同于当下利用率,图表需要正确查询才有解释力。
相关知识卡:监控采集存储与展示分工、标签组合定义时间序列、抓取周期决定历史采样。
原书依据 · 3 处
第4章 数据库故障和生产环境中的测试
从依赖路径提出可检验猜测
WordPress案例先建立Apache→PHP应用→MySQL的请求路径,再把状态存储、磁盘和网络作为候选薄弱处。启发式负责提出问题,实验才提供证据;不能仅因为数据库存状态就断言它一定是根因。
相关知识卡:沿请求路径寻找薄弱处、启发式猜测必须接受实验检验。
资源压力实验的证据边界
本章用磁盘写压力与请求基线比较展示实验方法,同时明确同VM运行会混入CPU、缓存与流量因素。示例数字用于教学,不能当实际系统的容量阈值。截图中并发参数还出现不一致,因此笔记保留方法,不将那一组下降比例当严格因果证明。
相关知识卡:故障条件与降级目标要分别定义、基线比较必须保持负载参数、写负载只近似模拟I/O压力、同机压测会混入共享资源影响、平均值隐藏尾部与流量形态。
把延迟限定在目标通信上
tc通过排队规则改变数据包调度,端口过滤让数据库路径承受故障,而非把整个接口所有通信一起延迟。注入、确认效果、撤销与确认恢复都属于实验。多次串行数据库交互会放大端到端时间;工具超时也只是测量限制,不能直接等同于业务总延迟。
相关知识卡:tc通过排队规则模拟网络条件、ICMP延迟只证明对应探测路径、端口分类缩小延迟作用域、多次往返放大依赖延迟、减少往返缓解延迟脆弱性、总测试时限不同于套接字超时、撤销注入后还需验证恢复。
生产真实度与风险取舍
生产拥有真实用户、数据和配置,因此测试环境结果存在迁移边界,但生产实验仍是有限样本。是否进入生产应比较提早发现问题的收益和主动干预的损失,先完成其他测试并限制爆炸半径,而非用“真实”替代风险控制。
相关知识卡:环境差异限制实验结论迁移、生产实验需权衡主动风险。
第05章 剖析Docker
第二部分转向Docker、系统调用、JVM、应用代码与浏览器等技术栈;各章可独立阅读,但都沿用观察、稳态、假设与实验的基本过程。
隔离模型与Docker的职责
容器是一组限制进程资源视图和用量的机制。虚拟机有各自内核,容器共享内核:容器更容易快速启动和打包依赖,故障与安全边界也因此较弱。仿真重现另一平台,模拟近似行为,虚拟化是更广的抽象。Docker并未发明这些底层机制,而是把运行、镜像构建与分发变成一致的工作方式。
路径视角与共享容量
chroot把一个子目录呈现成进程的根;联合文件系统把只读镜像层和容器可写层合并,修改旧文件时再复制。路径看似独立,底层磁盘却仍可共享:一个容器持续写满主机,另一个就可能无法写入。要限制容量,必须核对存储驱动与文件系统配额条件。
可见资源与可用数量
命名空间回答“进程能看见什么”,cgroups回答“进程能用多少”。用主机PID、lsns与/proc句柄能从外部识别容器视图;nsenter进入现有视图,unshare创建新视图。v1 cgroup可把父子进程纳入控制组。CPU配额是时间硬上限,shares仅在竞争时分配相对比例,绝不代表绑核。内存实验还揭示:虚拟地址申请与实际RAM使用不同,故障负载必须真正触及限制,OOM处置本身也耗CPU。
命名空间控制可见资源;从PID查命名空间;PID隔离与进入命名空间;cgroups的层次与成员;CPU配额与权重不同;用限流计数验证CPU限制;分配内存不等于占用;OOM处理也消耗资源;组合机制才形成容器。
网络与权限边界
none、host与bridge给出不同网络边界。bridge在容器net命名空间创建接口,再连接到主机网桥,因此可从共享网络视图的辅助容器操作目标接口。权限方面,capabilities细分超级用户能力,seccomp直接过滤系统调用;二者都需按应用需要配置。
Docker三种网络模式;网桥连接网络命名空间;细分特权限制容器能力;seccomp过滤系统调用;容器安全来自最小权限。
从容器机制回到用户响应
理解机制后,重新部署Ghost和MySQL,先检查CPU限流,再检验数据库网络延迟。Pumba包装tc并借辅助镜像解决目标缺工具的问题。书中给数据库加100毫秒,页面由26升到490毫秒;再以1毫秒实验估计工具扰动不足以解释该增量。这验证了应用对网络的敏感性,并未直接证明内部查询次数。平台自身还须检查重启、镜像空间、依赖就绪和故障恢复。
第06章 你要调用谁?系统调用破坏者
认识用户程序与内核边界
系统调用是程序申请内核服务的通道。用户空间程序通常经libc包装器进入内核,包装器又可能先执行额外逻辑,因此不能把上层库函数与内核调用一一对应。黑盒程序也会经过这条边界,故障实验不必以完全理解源代码为起点;先读接口的参数、返回值和错误契约,再选真实且有意义的失败。
在观测粒度与扰动间选择
strace能显示调用参数与错误,启动时追踪覆盖初始化,运行后附加只覆盖之后的路径。System X轨迹展示大量逐字符write和一个fsync错误,为实验选点提供依据。然而strace会显著改变性能,过滤显示也不消除底层追踪成本。BPF在内核事件中聚合数据,BCC/syscount使调用计数更易获取且通常开销更小,代价是信息不如逐调用轨迹细。SystemTap与ftrace提供其他观测路线。
用strace观察调用轨迹;从黑盒轨迹挑选故障;追踪开销会改变被测系统;BPF在内核中聚合观测;按信息粒度选择观测工具;内核跟踪的替代工具。
用错误行为检验弹性
inject可指定调用、错误与受影响的序号。稳态应保留同样追踪设置,以免把工具影响误判为故障影响。System X的close遇EIO就退出,说明低频清理路径也会破坏服务;write间歇失败时则能重试并维持请求,但付出处理能力代价。是否可用与性能是否满足要求必须分别观察,书中吞吐数据的展示差异不宜被推广为严格固定比例。
降低注入开销的替代方式
seccomp可用固定策略阻塞调用。Docker启动时去掉getpid允许规则,程序打印-1;这种方式简单且开销小,但不具备strace附加运行中进程和按调用序号注入的便利。脱离Docker时,libseccomp以初始化、加规则、加载、释放上下文构造策略。两种路线是在灵活性、依赖和扰动之间选择,没有一种工具适合所有实验。
第07章 JVM故障注入
JVM提供了在类加载时转换字节码的入口。本章从一个输出异常实验出发,依次说明如何选择故障、读取指令、接入代理和借助现有工具。
以异常路径设计实验
本章把故障注入推进到Java虚拟机内部。JVM执行的是由源代码编译得到的字节码,因此可以在类加载时修改字节码,让已有应用的方法表现为失败,而无须改动应用源码。实验不是任意挑一个函数破坏:先找真实会被调用、现实中可能抛异常的路径,再规定业务上应看到的结果。FBEE正常输出FizzBuzz只能建立基线,输出方法失败后是否通过退出码报告错误,仍需另行验证。
进一步的机制与边界:按异常路径选择注入点;输出失败也须报失败。
原书依据 · 2 处
字节码的读取与调用指令
字节码是JVM理解的指令序列。用javac编译、javap -c反汇编,可以把Java语句与指令对应起来。原书从简单打印开始,再编译一个专门抛IOException的静态方法,发现只需一条invokestatic便可调用它。这一过程提供可检查的注入材料,避免不理解指令就修改类文件。
原书依据 · 2 处
代理注册与转换契约
javaagent是把转换逻辑接入JVM的方式。Agent的premain先注册ClassFileTransformer实现,Instrumentation再把待加载类交给转换回调;清单的Premain-Class把JAR入口和代理类绑定。原书先只打印类名并保持原字节,证明挂载有效,再添加改写,便于分清接入和转换两个阶段的问题。
进一步的机制与边界:代理注册字节码转换器;用清单绑定代理入口。
原书依据 · 2 处
ASM实施与实验结果
真正的转换先精确筛选目标类,再用ASM读出方法列表,在output入口插入对静态抛错方法的调用,最后写回字节码。这个扰动只说明操作入口失败时应用怎样处理,不等于覆盖操作已经部分完成的情形。书中注入后结果没有输出,退出码仍为0,推翻了程序能以返回码报告失败的假设。内部JDK包和编译选项只作为OpenJDK 8示例保留。
进一步的机制与边界:在目标方法入口注入异常。
原书依据 · 1 处
工具抽象与自动弹性研究
理解底层机制之后,工具可以减少实现工作。Byteman用位置、条件和动作的规则DSL表达修改;Byte-Monkey提供混沌专用模式及概率和目标过滤;Spring Boot的Chaos Monkey利用框架抽象提供延迟、异常、关闭和内存攻击。它们降低工具编写成本,仍不替实验者决定故障应落在哪里。ChaosMachine和TripleAgent则把异常处理分析及弹性改进推向自动化研究,研究评估不等于任意生产程序的保证。
进一步的机制与边界:Byteman用规则注入;ByteMonkey按比例扰动;Spring攻击贴近应用抽象;自动分析异常处理假设;自动改进弹性的研究。
第08章 应用级故障注入
拥有源码时,可以把可选择的故障入口直接纳入应用。本章通过同一会话推荐场景,连接延迟传播、异常降级和新增实验代码的代价。
会话推荐的依赖边界
本章转向自己拥有源码的情况。示例网站用cookie中的会话ID查找Redis里的最近三个查询,再将兴趣交给推荐函数。浏览器拿的是会话标识,缓存保存的是查询内容,Flask负责请求与响应。这个简单系统足以展示两种不同实验:依赖变慢怎样传到页面,以及依赖失败后推荐能否降级。旧版安装与启动命令只是搭建书中场景的前置记录,本次未执行。
进一步的机制与边界:会话串起推荐依赖。
原书依据 · 1 处
串行延迟假设与基线
第一项实验先识别调用关系:每次搜索都先读Redis,再把更新后的列表写回,因此每次交互增加100毫秒的假设结果是总延迟约增加200毫秒。ab不仅要请求正确URL,还要保留POST表单、内容类型和会话cookie,否则可能测到不同路径。书中并发1的基线约5.98毫秒,注入后约208.4毫秒,支持该串行路径的假设;这些数字是案例结果。
进一步的机制与边界:延迟按实际调用次数累积;压测保留表单与会话。
原书依据 · 2 处
客户端包装与默认关闭
ChaosClient通过组合持有真实缓存客户端,保留get和set入口,休眠后再转发原调用。启动时的辅助函数根据CHAOS决定返回原客户端还是包装器,CHAOS_DELAY_SECONDS控制等待时长;关闭时保留正常调用路径。新增代码仍会有bug和建模错误,尤其不能把错误注入位置得到的结果当成真实故障证据。示例另有读改写并发丢失更新的问题,单条命令原子性并不能自动覆盖整个操作。
进一步的机制与边界:包装客户端注入延迟;默认关闭缩小额外开销;分步读写会丢失更新。
从内部异常验证用户降级
第二项实验关心用户结果。内部get_interests抛错后,异常沿store_interests传到search,后者捕获RedisError并用空兴趣生成无推荐页面;用户应仍能浏览。是否这样降级取决于业务职责:推荐是可选功能,而结账的必要会话信息可能要求明确失败。装饰器以闭包计数在偶数次调用抛错、奇数次执行原函数,让正常与降级反复出现;正文的奇数报错表述与实际代码冲突,以清单为准。函数单测和整体实验分别回答局部处理与用户体验的问题。
进一步的机制与边界:降级依据业务职责;交替抛错验证处理链;单测之外再看用户结果。
应用层和基础设施层的选择
应用层注入的优势是用熟悉的语言构造贴近业务的条件,代价是修改应用、部署新代码并承担新增缺陷。若要影响所有出站通信,基础设施层可能更容易完整覆盖。选择层级时先问目标范围与可达性,而非把混沌工程绑定到某个岗位。两个实验应分开运行,避免延迟与异常同时开启而难以解释结果。
进一步的机制与边界:按覆盖范围选择注入层。
原书依据 · 1 处
第09章 我的浏览器中有一只“猴子”
用户最终看到的是浏览器状态,因此后端之外还要观察前端如何处理慢请求和失败。本章以pgweb的表格浏览操作说明临时脚本注入及其边界。
浏览器到数据库的数据路径
前端也属于可靠性边界。pgweb先向浏览器返回HTML和脚本,再由JavaScript在用户点击表名时发起数据请求,经pgweb服务器查询PostgreSQL后更新页面。这是单页应用的典型局部更新方式。Network面板能从一次操作的请求数量、端点、Initiator、响应和时序发现路径;书中选表产生三个请求,成为后续实验的共同对象。
进一步的机制与边界:单页应用仍有故障边界;先从网络面板发现路径。
延迟注入与计时范围
第一项实验保存并包装XMLHttpRequest原型的send方法,让后续调用先等待1秒再发送。若三个请求必须顺序等待,它们的发送时点会明显拉开;若独立发起,等待可以重叠。书中观察支持当前三个请求没有形成这种串行等待。但Network从实际发送起算,遗漏了包装器中的等待,所以不能只看Finish下结论。精确计时应覆盖包装入口到最后完成,并使用一致时钟;响应头时间只提供粗略旁证。清单的延迟包装没有转发body,不能照搬到任意POST调用。
进一步的机制与边界:重写请求入口添加延迟;计时窗口必须覆盖扰动;用延迟辨别串并行。
事件故障与旧数据风险
第二项实验通过事件走错误处理路径。JavaScript对象可以按事件名称通知监听函数,XHR的error事件就是错误入口之一。书中包装send,自增计数,奇数正常发送、偶数派发error;周边文字出现的timeout及相反奇偶图注不能替代清单条件。这个模型只触发相应事件处理,不等价于复现真实网络故障的一切内部状态。书中历史pgweb版本的处理器解析未收到的responseText时再次抛异常,导致用户选择新表后仍看着旧数据,而且没有可见错误。
进一步的机制与边界:事件派发触发错误路径;错误处理失败会留下旧数据。
Fetch替换入口
另一种请求入口是Fetch。它通过全局fetch函数返回Promise,调用者用then和catch继续处理;404仍可形成响应,需要再检查HTTP语义。包装时不仅要转发参数与上下文,还要返回原Promise,才能维持调用者契约。XHR和Fetch应按实际使用的入口选择注入,不能只改其中一个就假定覆盖所有浏览器请求。
进一步的机制与边界:Fetch返回Promise。
原书依据 · 1 处
节流与脚本复用工具
除了重写脚本,还可以用开发者工具的Throttling预设模拟慢网,观察加载和交互。它与固定延迟包装并非同一种故障模型。Greasemonkey或Tampermonkey则提供对特定网站反复加载脚本的便利,解决复用问题,不替代实验设计。本章所有界面、版本与pgweb故障均作为原书案例,未对现实网站或本机浏览器实施注入。
第10章 Kubernetes中的混沌
Kubernetes把部署从逐机执行命令变成声明期望状态,随后持续修正差异。这样的编排提供了故障恢复基础,同时也增加了控制器、权限和网络的依赖。本章先建立这些对象,再用删除副本和代理延迟回答两个不同问题:系统是否能发现失效并补建,以及能否准确报告尚未超时的慢连接。
10.1 项目与探测工具
项目文档反差引出以Goldpinger连接图代替模糊项目口号;定义各实例探测关系。
Goldpinger让多个实例相互发出HTTP请求,记录可达性与响应时间,再画出连接图和热图。每个实例先查询Kubernetes获取同伴地址,因此可以观察不同节点视角下的网络差异。探测周期越短,发现变化越及时,流量与CPU开销也越高;单次刷新只展示一个观察视角,不能独自代表全局网络健康。 进一步见Goldpinger连接探测。
原书依据 · 1 处
10.2 Kubernetes与声明式部署
由手工运维扩展到资源调度,解释期望状态、控制平面和提交后异步收敛。
Kubernetes把“希望运行什么”存为期望状态,再由控制平面持续比较并修正实际状态。提交两个副本的请求得到成功响应,只说明请求已被接受,不意味着两个副本已经健康提供服务。资源不足、节点故障或镜像问题都可能使收敛延迟;编排减轻部署工作,却没有消除应用故障。 进一步见Kubernetes声明式收敛。
原书依据 · 1 处
10.3 Minikube环境
介绍本地单节点集群的历史驱动、启动、观察和停止方式;说明学习便利与代表性限制。
Minikube为本地学习提供小型Kubernetes集群,帮助管理运行集群的环境及访问方式。本章使用单节点、VirtualBox驱动的历史版本演示编排和探测。单节点便于观察命令与资源,但无法代表真实多节点、多可用区的独立故障域;书中的版本、驱动支持和默认资源只属于当时环境。 进一步见Minikube本地集群。
原书依据 · 1 处
10.4.1 资源权限与部署
依次解释Pod、Deployment、Service、RBAC、标签、DaemonSet及部署验证,形成后续实验的对象模型。
Pod是Kubernetes调度的基本单位:一组容器安排在同一节点,并共享网络等部分环境。同一Pod中的应用与代理可以用localhost通信,但它们仍是不同容器。把相关进程放进一个Pod有利于紧密协作,也意味着它们共享Pod所在节点的故障范围。 进一步见Pod共享运行环境。
Deployment描述Pod模板和副本数量,并通过控制器管理副本生命周期。它可以在受管理Pod消失时补建实例,也可以在镜像变化时滚动更新、失败时回滚。直接创建的孤立Pod没有同样的副本控制保障;补建一个新Pod也不等于原Pod被原地复活。 进一步见Deployment管理副本。
Service通过选择器关联一组Pod,提供稳定的访问入口,并随端点变化更新转发目标。因此客户端不必追踪每个Pod的易变IP。入口稳定并不保证目标随时可用:就绪探针、端点更新和转发规则都影响请求是否能到达真正准备好的实例。 进一步见Service稳定访问入口。
标签是资源上的键值元数据,选择器按标签确定资源集合。例如app=goldpinger可同时选中开发和生产实例,再增加stage=dev就缩小到开发实例;本章组合多个等值标签时采用逻辑AND。Deployment管理范围、Service流量范围和实验目标都依赖选择器,误配标签可能让实验波及意外对象。 进一步见标签选择器的集合语义。
Kubernetes的RBAC把“谁”和“能做什么”分开:ServiceAccount表示运行软件的身份,ClusterRole列出资源与允许的动词,ClusterRoleBinding把权限绑定给身份。Goldpinger只需列出同伴Pod,就应按这个需求授予权限。能发现同伴不代表需要删除Pod;观测权限与故障注入权限不能混为一谈。 进一步见RBAC授予探测权限。
DaemonSet适合让每个符合条件的节点运行一个Pod,例如在各节点布置网络探针。Deployment更关注给定数量的副本,并不自然等价于每节点一份。本章单节点演示使用Deployment创建三个实例,是为了展示交互,不能据此声称已经覆盖三个独立节点的网络和硬件故障。 进一步见每节点探测用DaemonSet。
10.4.2–10.4.3 Pod删除与观察
从稳态和假设设计删除实验,结合watch与GUI验证故障和恢复;讨论观察采样、就绪、游戏化工具。
要验证副本故障恢复,先确认受测实例健康,再删去受控目标,同时观察同伴报错与控制器补建新Pod,最后确认恢复。必须把“故障被发现”和“副本已恢复”分开观察。本章标题说终止50%,但实际脚本对三个Pod随机选一个,作用比例为1/3;实验报告应写实际目标和数量。 进一步见删除Pod的恢复实验。
短暂故障可能在人工刷新界面之前已恢复;没有看到红点,只能说明没有在该次刷新捕获它,不能证明故障未发生。通过Service访问界面还可能每次落到不同实例,导致观察视角变化。应结合连续指标和Pod事件时间线,并注明探测周期;2秒刷新周期本身不是端到端发现时间的严格上限。 进一步见界面刷新会漏掉故障。
容器启动和应用准备好处理请求是两件事。就绪探针以实际条件判断服务能力,未就绪的Pod不应进入普通Service的可服务端点,从而避免恢复期间过早接流量。探针条件应反映应用可用性;仅看到Running或副本数恢复,无法替代就绪与业务请求验证。 进一步见就绪探针控制接流量。
KubeInvaders和Kube DOOM把Pod映射成游戏中的敌人,击中后实际删除对应Pod。它们降低了演示交互门槛,也能帮助团队直观认识副本重建。游戏界面并不会替代可证伪假设、目标筛选和结果验证;对真实集群执行删除仍需要同样的权限与影响边界。 进一步见故障游戏化工具。
10.4.4 代理延迟实验与总结
从tc备选方案转向克隆与Toxiproxy,解释端口、标签、毒剂、热图方向、故障阈值和清理边界。
Toxiproxy在客户端与目标服务器之间转发TCP连接,通过管理API动态配置代理和故障。CLI或语言客户端负责控制,代理服务器负责转发。它可以注入延迟、带宽限制、超时或切片等影响,不必理解HTTP内容;只覆盖实际经过该代理的连接,不能把应用层效果与原始网络包行为一概等同。 进一步见Toxiproxy可控网络故障。
可以添加一个额外应用副本,在同一Pod内用代理占据外部端口,再将请求转到应用的新端口,给这部分路径加入延迟。原有副本不修改,便于限定影响和清理。示例的250毫秒低于300毫秒超时,只应期待延迟显著且通常仍可成功;实际总耗时还包含其他开销。额外副本仍会参与发现与流量,风险不能只由副本比例概括。 进一步见克隆代理限制故障范围。
第11章 自动化Kubernetes实验
自动化把实验转成可重复的策略,让目标选择、注入、断言和清理都成为可检查步骤。它减少手工操作成本,但实验设计仍决定结果能说明什么。一次演示之后,需要进一步把可用时限与持续观测连接起来,并把故障范围从Pod扩展到承载它的VM和可用区。
11.1 PowerfulSeal与两类自动实验
说明策略、场景、步骤、权限和安装,再用匹配过滤操作、克隆变更与清理替代手工实现。
PowerfulSeal把混沌实验写成策略文件:一个策略可包含多个场景,每个场景按步骤执行干预、验证和清理。自主模式需要Kubernetes访问身份,操作VM时还需要相应云权限。工具负责执行既定计划,不能替研究者决定什么是健康、故障该影响谁,以及怎样的结果足以否定假设。 进一步见PowerfulSeal策略。
PodAction将目标控制分成匹配、过滤和操作:先按命名空间与标签获得候选集合,再选数量或随机比例,最后对最终集合执行动作。这让选择范围和故障动作可以分开检查。比例遇到少量副本会有取整结果;书中三个Pod配置0.5最终选中一个,应记录实际数量而不是把配置值当实测影响比例。 进一步见匹配过滤再执行操作。
PowerfulSeal可复制已有Deployment,再对副本添加Toxiproxy等变更,通过端口重定向使指定流量经过代理。实验可保持原副本不变,等待观察窗口后删除克隆。清理应是场景的一部分,并验证没有残留资源;本章变更不影响localhost自调用,因此热图对角线正常不代表注入失败。 进一步见克隆变更与自动清理。
11.2 持续验证与部署SLO
区别单次成功与持续观测,用创建—等待—HTTP—清理检测部署可用时限,讨论真实镜像及缓存条件。
一次成功只描述某个版本、负载和数据状态下的一次观察。持续重跑能覆盖系统随时间变化的更多状态,发现回归或阈值接近,但持续成功也不能逻辑证明所有故障都安全。可把部署可用时限等目标转换为持续探测,并在内部SLO越界时报警,为对外承诺留反应空间。 进一步见持续验证扩展观察条件。
要判断新服务能否在时限内可用,可循环创建Pod与Service、等待目标时限、请求健康端点、清理资源。这样验证的是目标路径上的响应,而不只是Pod处于Running。固定30秒后一次成功请求证明该检查点可用,不会精确测得首次就绪时刻;应选有代表性的应用、镜像和依赖,避免小镜像样本高估平台能力。 进一步见启动时限的HTTP验证。
镜像是否已在节点缓存,会改变启动测试的条件,故应记录镜像大小、缓存和仓库状态。原书建议Always来覆盖拉取条件,但不能将其解释为每次完整重下所有层:Kubernetes官方文档说明运行时仍可复用已有层。冷缓存下载、仓库解析和应用初始化是不同成本,必须分别界定才能比较启动时限。 进一步见镜像缓存影响启动测量。
11.3 云层故障域与VM故障
由MTTF和规模解释硬件故障暴露,再谈Region、可用区、亲和与云API的节点/宿主机实验。
Region通常表示不同地理位置,可用区在同一Region内进一步分离部分基础依赖。把副本分散到不同故障域,可减少一次共享设施故障同时击中多个副本的风险。亲和倾向共置,反亲和倾向分散,软约束表示偏好,硬约束表示必须满足。具体隔离程度由云或部署实现决定,不能把标签不同直接当物理独立。 进一步见故障域与反亲和。
关闭运行Pod的VM会同时影响该节点上多个工作负载,并触发节点失联和重新调度机制;它与只删除一个Pod的故障范围和恢复路径不同。PowerfulSeal可从节点属性选VM,或从已选Pod找到宿主机,再配恢复步骤。评估时应检查影响集合、发现时间、异地补副本和主机恢复,而非只看目标Pod消失。 进一步见VM故障与Pod故障有别。
单机低故障率不代表集群罕见故障。在独立、相同且近似恒定日风险p的简化假设下,N台机器一天至少一次故障概率为1−(1−p)^N,预期故障数量为Np,两者不同。原书用MTTF倒数和小概率加法作粗算,适合说明规模效应;硬件老化、共同电源或网络故障会破坏这些假设,应按实际故障域设计实验。 进一步见规模放大故障暴露。
Kubernetes镜像拉取策略:2026-10-24核验,Always仍可使用已缓存镜像层。
第12章 Kubernetes底层工作原理
Kubernetes的可靠性来自多个组件分工、观察状态并持续修正,而不是一个万能调度进程。理解每一层的职责,才能区分控制面无法写入、节点无法执行更新、网络规则过期和应用本身故障;这些失效可以同时存在,也可能只影响新操作而暂时不影响已有流量。
12.1.1 控制平面全部组件
逐一解释etcd/API/控制器/调度器的协作、复制多数派、选主、资源分配及对应故障假设,区分可用性与收敛。
控制平面以API与存储为中心,把资源管理、调度分给不同组件。请求先由API服务器接受并保存,控制器据期望状态创建资源,调度器把未分配Pod绑定节点,节点代理才实际启动容器。各步骤异步发生,因此API成功、调度完成和应用可用必须分开验证。可选的云控制器对接云提供商,处理节点、路由等云相关资源;原书列作kube-cloud-manager,Kubernetes官方组件名为cloud-controller-manager(官方组件概览,2026-10-24核验)。 进一步见控制平面分工协作。
etcd使用Raft协调副本,使节点故障后仍可保有一致的集群状态。N个投票成员需要⌊N/2⌋+1个构成多数派:3节点与4节点都只能容忍1个成员不可用,5节点可容忍2个。奇数规模因此通常更有效率;增加副本同时有通信和存储成本。多数派容错能力不能替代备份或证明共享故障域安全。 进一步见etcd多数派容错。
etcd把集群期望状态保存为复制数据,Raft协调更新,避免各控制组件各持一份相互冲突的事实。原书“写入复制到所有节点、任意节点总是最新”的描述过强:提交依赖多数派,落后副本可能追赶,读一致性取决于请求语义。官方API默认线性一致读与可选serializable读有区别,后者可能返回旧值。 进一步见etcd读写一致性边界。
测试etcd故障要区分单成员故障、资源压力、网络延迟和多数派丢失。观察应覆盖API读写、新资源调度、已有Pod继续运行以及恢复后的状态收敛。已有应用继续响应并不说明控制平面仍可写;控制平面暂时不可用也不必然立刻终止所有运行中容器。每个结论都应明确对应操作与故障阶段。 进一步见etcd故障观察四层。
kube-apiserver提供集群状态读写入口,持久化状态由etcd承担,因此可部署多个API服务器分担请求。它也是控制组件共享的通信入口:额外流量和网络延迟可能拖慢watch、更新与收敛。API副本足够并不自动保证etcd或下游控制链不成瓶颈,需观测请求延迟与资源达到目标状态的时间。 进一步见API服务器的瓶颈传播。
控制器持续观察资源并修正其负责的状态。创建Deployment后,Deployment控制器创建ReplicaSet,ReplicaSet控制器再维护Pod数量;它们通过API交互和watch获知变化。职责拆分使恢复可持续推进,也意味着链上任何观察或写入受阻都可能延迟最终收敛,不能把整个过程当作一个同步事务。 进一步见控制器按资源循环收敛。
多个控制器管理器副本通常用选主协调有效工作者,leader需要持续续约,失联后其他副本在条件满足时接替。租约过短可缩短接替等待,也增加续约负担及对延迟的敏感性;过长则恢复更慢。书中以etcd租约作概念解释,实际组件通常通过Kubernetes API的锁资源协调,不应推断直接操作etcd互斥锁。 进一步见租约选主的恢复权衡。
调度器先剔除不满足资源、端口及位置等约束的节点,再按策略给剩余候选评分,选择适合Pod的节点。亲和偏好、资源平衡和镜像本地性等可参与决策。调度器负责分配位置,kubelet负责落实运行;硬约束无解时,正确行为可能是保持待调度,而不是为了补足数量违反隔离要求。 进一步见调度先过滤再评分。
Raft用leader协调复制,其他节点通过与leader的通信判断其是否仍有效。节点在选举超时后可成为候选人并争取多数投票,获多数支持者成为新leader。心跳的正常方向是leader发向followers;原书图12.2的反向图注不宜当成协议定义。这里只保留本章展开的故障检测、选举和多数派关系,不把选片比喻当完整的协议安全证明。 详见Raft以多数选票选主。
生成时纠偏依据:Raft原始论文5.2节,2026-10-24实际读取选举与心跳段落。
12.1.2 Kubelet与pause
解释节点执行与状态报告、Pod共享环境、容器恢复、节点失联判定及旧副本继续运行的风险。
Kubelet在节点上读取期望Pod配置,调用容器运行时创建或停止容器,并汇报实际状态。它连接控制平面意图与真实进程。Kubelet失联时,已有容器可能继续运行,但节点上的新配置或清理无法按期落实;实验应同时检查旧进程、替代Pod和状态报告,避免把API中的删除当作进程已停止。 进一步见Kubelet落实节点状态。
传统Linux Pod实现用pause容器持有网络命名空间等共享环境,让应用容器崩溃重启时仍可加入同一Pod网络。应用容器共享IP不代表共享全部隔离和资源限制。这个机制解释了为何Pod不等于单个应用容器;具体沙箱实现由运行时决定,不宜把“每个Pod恰好两个容器”当普遍规则。 进一步见Pause保留Pod共享资源。
节点与控制平面分区时,控制平面可能判定节点不可用并在别处补建工作负载,而旧节点仍在运行已有进程,形成旧配置和额外副本风险。恢复评估要覆盖失联判定、驱逐等待、替代实例可用及旧实例终止,而非只测新Pod启动。本章的默认等待值有版本与配置前提,实际系统须核对其参数。 进一步见节点失联与重复副本。
12.1.3 CRI与隔离实现
由Docker历史到CRI/OCI/runc,再比较containerd、CRI-O、轻量VM、用户态内核的隔离边界。
容器运行时接口CRI把Kubelet需要的容器管理操作标准化,使编排不必绑定单一Docker实现。containerd、CRI-O等负责实现接口并落实运行;runc处理较低层的Linux容器生命周期。OCI规范与CRI处在不同层次:前者规范镜像或运行时格式,后者是Kubernetes对运行时的调用接口。书中的Docker内置支持属于历史架构。 进一步见CRI分离编排与运行。
不同运行时可能用不同隔离边界实现类似的容器体验。Kata Containers和Firecracker相关方案采用轻量虚拟机思路,gVisor用用户态内核承接应用系统调用;它们与共享宿主内核的普通Linux容器有不同性能、兼容性和故障面。应按实际集成核对,不能把Firecracker本体或任意图中节点直接视为完整CRI实现。 进一步见沙箱运行时隔离取舍。
12.1.4 网络至12.2总结
依次讲Pod寻址与CNI/Flannel、Service的kube-proxy规则及条件概率、Ingress资源/控制器,最后汇总组件职责与故障影响。
CNI标准化容器网络配置接口,具体网络插件负责让Pod地址真正可达。分配了Pod IP并在API中记录,只是控制信息,跨节点转发还需要网络实现。本章把IP称作“虚构”意在说明它由软件配置,地址并非无效;具体地址管理由集群与插件组合实现,不能泛化成一律由Kubelet独自分配。 进一步见CNI连接Pod网络。
Flannel示例把每节点可用的Pod地址分成子网,按目标子网将跨节点报文转到相应节点,封装型后端在接收端解封装后交给目标Pod。它让应用看到连续的Pod地址空间。网络守护进程停止后,既有配置可能暂时能用,新增或改变配置却会过时;该例应按具体后端理解,不把所有CNI实现都归为同一封装机制。 进一步见Flannel封装跨节点流量。
kube-proxy在节点实现Service到后端Pod的转发规则,并随端点变化更新。规则存于数据路径,因此代理进程停止后已有规则可能仍可转发,但端点变化会使规则过时。实验应比较停止前后已有连接、新端点及错误目标,而不能简单断言代理退出必定立刻断网。 进一步见Service转发规则需更新。
依次匹配规则时,各步概率必须按“前面未匹配”的条件计算。三个等权后端可依次用1/3、1/2、1:A得到1/3,B得到(2⁄3)×(1⁄2)=1/3,C得到(2⁄3)×(1⁄2)×1=1/3。均衡是长期概率意义,不保证短样本次数相同;书中33%是近似表示。规则数量和后端实现也会影响转发成本。 进一步见顺序概率实现均衡。
Ingress资源描述外部主机或路径如何路由到Service,必须有Ingress控制器观察这些规则并配置实际代理。NGINX示例通过配置生成与重载落实转发。API资源创建成功并不证明流量入口已生效;还需验证规则加载、现有长连接与超时行为。Ingress控制器的部署数量和位置依具体配置,不必一律每主机一份。 进一步见Ingress声明需要控制器。
代理先超时并断开,不代表上游已停止处理。若客户端随后重试,系统可能同时处理旧请求和新请求,工作量不断堆积。故评估超时要观察整条链中的取消传播、重试与上游剩余工作,测试代理与应用的超时组合;单独调小某一层超时,可能只是更快返回错误却加重后端压力。 进一步见代理超时可能放大负载。
etcd API guarantees:2026-10-24核验,默认线性一致读与可选serializable读不同,后者可返回旧数据。
Kubernetes Leases:2026-10-24核验,控制平面组件通过Lease API协调选主。
Kubernetes集群网络:2026-10-24核验,节点运行时通常使用CNI插件管理网络,并可由不同组件实现地址配置。
Kubernetes官方组件概览:2026-10-24核验可选cloud-controller-manager负责云提供商集成。
第13章 混沌工程与人
系统可靠性还依赖团队怎样理解风险、获取支持和传递知识。本章把技术实验的方法迁移到协作关系:先把收益说清楚,再识别知识只有一份、输入没有核验、响应被瓶颈卡住以及流程无法执行等组织弱点。人与机器的类比用于提出问题,不意味可以忽略人的信任和参与意愿。
13.1 混沌工程思维
从直觉风险与受控风险计算的差异,讨论规模、故障暴露和早失败的成本,心理故事仅作启发。
混沌工程需要在信息不完整时比较受控实验的风险与未来意外故障的代价,并用证据更新判断。直觉中的“现在能用就不要碰”容易只看到实验造成损失的可能,却忽略未暴露弱点。风险计算不是承诺零风险,而是说明目标、影响边界、可观察结果与中止条件;心理学故事只能作启发,不能代替本系统数据。 进一步见从风险规避到风险计算。
主动实验可能让已有缺陷在人员、工具和上下文都就绪时暴露,比未来不便时刻的意外中断更容易诊断。随着依赖增加及开发记忆淡化,同一缺陷的后续处理可能更昂贵。这个理由支持比较早晚暴露的成本,不意味着越早破坏越好;仍须权衡影响范围和收益,不能把经验倾向当普遍定律。 进一步见早暴露故障降低修复代价。
原书依据 · 2 处
13.2 获得支持与游戏日
分别围绕经理和工程师的利益解释实验价值,再以团队共同学习组织游戏日。
争取混沌工程支持时,应把方法转换为受众关心的结果。经理更关心投入回报、风险边界、质量与团队能力;值班工程师更关心减少夜间中断、提前理解故障和降低失败污名。用可复用测试及真实发现说明收益,比仅突出工具新颖或破坏乐趣更有说服力;这些是沟通论据,不是未经测量的ROI承诺。 进一步见按受众解释可靠性收益。
游戏日以团队共同参与的形式讨论系统弱点和实验假设,并体验观测、诊断与恢复。形式可灵活,关键是让参与者感到时间投入有意义,形成共享理解。单纯制造紧张或娱乐并不保证学习,结束后应把发现转成改进项和可回访证据。这里保留方法认识,未组织或实施任何团队活动。 进一步见游戏日共同学习。
原书依据 · 2 处
13.3–13.3.1 技能图谱与缺席
把消息协作类比分布式系统,依据六人能力图识别前端单点,用宅度假观察知识冗余。
把团队所需能力与人员的实际掌握范围画出来,可以发现关键任务只有一人可完成的知识单点。示例中只有Esther具备前端能力,其他领域有人重叠,表明冗余应按具体技能判断,不能按人数判断。图谱只是初步假设,还需用文档、交接与任务完成观察确认是否真的能接替。 进一步见技能覆盖识别知识单点。
“宅度假”在有限时段让一位成员暂不处理原职责,观察其他人是否能靠已有知识和文档继续工作。等待、失落的背景信息和无人能处理的领域,可暴露知识未复制的位置。它不是考核个人价值;真正紧急情况应立即取消,事后讨论并补知识传播。未经团队授权和安排,不应直接对同事实施。 进一步见宅度假观察知识冗余。
原书依据 · 2 处
13.3.2–13.3.4 信息延迟与流程
分别讨论错误信息核验、响应延迟暴露瓶颈、故障演练检验流程;保留各自限制及取消/纠正措施。
原书用预设错误信息的团队游戏,观察信息接收者是否核验输入,要求记录错误、及时纠正、知情负责人介入并限制影响。可迁移的认识是信任应随问题领域变化,重要信息需要可追溯验证。游戏可能损害信任,不能把它写成已授权操作;学习时可用明确标注的桌面案例讨论,保留相同验证问题而不实际散布错误。 进一步见错误信息需要验证链。
协作瓶颈出现在某人或某个流程的处理能力限制了其他人前进时。原书建议在受控游戏中给响应增加延迟,观察哪些任务被迫等待,从而使隐性依赖显形。等待并不自动归咎于个人能力,也可能来自政策、审批或文化约束;应记录受影响路径和原因,再选择知识共享或流程改进。 进一步见延迟响应暴露协作瓶颈。
恢复流程存在文档不等于团队能在压力下使用。原书以受控故障演练检验流程,强调先核对流程、选合理问题、安排知情人员、记录耗时与易错步骤,并保留取消和修复能力。评估对象包括缺员时可否继续、信息是否明确以及是否形成新的单点。笔记只交付方法理解,未执行秘密破坏或任何现实干预。 进一步见流程演练验证恢复能力。
附录A 安装混沌工程工具
固定工具环境再讨论复现
附录记录Linux5.4、Ubuntu20.04、x86等测试边界,并说明包可能随后不可用。按版本安装、专门编译USDT支持和准备样本数据,分别解决环境身份、观测能力与练习输入;这里只保留本书环境的方法与条件,没有安装任何依赖。
相关知识卡:复现实验应保留环境身份、工具安装路径分包与独立产物、运行时探针需要专门构建。
配置依赖与平台边界
Apache配置提供/blog路由,应用配置指定数据库连接,样本数据又决定练习内容。Minikube单独放到主机避免当时VM嵌套方案;Intel特征检测和amd64二进制不可当作所有现代Mac及所有驱动的普遍要求。
相关知识卡:应用启动需连通配置依赖、集群练习需核对平台与驱动。
附录B 突击测验答案
本附录逐章重复选择题并标识答案,用于回查退出状态、OOM、USE、隔离、系统调用、JVM、浏览器与Kubernetes概念。题干已全文读取,并与对应章节机制合并,不以每个答案另造重复卡。题目里的Kubernetes管理VM、Toxiproxy丢包、运行时职责等概括,均以正文与当前生成的边界说明为准,答案选项不升级为精确实现定义。
附录C 导演剪辑
可迁移方法与工具取舍
附录解释不单列云、Windows、Node.js及所有运行时的范围选择:系统方法可能迁移,具体API和工具却取决于平台。它同时指出工具对照表容易随项目维护变化失效,不能把当时推荐当作当前支持结论。
相关知识卡:工具比较须记录观察时点、故障检测不同于架构修复。
原书依据 · 2 处
分析与分享也是工作的一部分
四步只是便于传播的组织方式,分析并未因此消失。真实失败案例难以公开,也提醒读者证据可见性受团队羞耻与声誉压力影响;应区分案例缺失与问题不存在。
相关知识卡:四步实验仍必须分析结果、案例缺失可能来自分享障碍。
原书依据 · 2 处
附录D 混沌工程食谱
用含水状态调整素食肉饼
本附录确有食谱实质内容,不能因为全书讨论软件就略过。蘑菇肉饼的关键是先处理水分,再逐次加面粉使混合物成形;配方是作者经验,不是精确营养结论或本次实测。
相关知识卡:蘑菇肉饼按含水状态成形。
原书依据 · 1 处
面团与烘烤接触面
比萨食谱先让酵母与温水混合,再逐步调节面粉和水,使面团可揉;预热的热平面有助于形成底部口感。配料按是否进入烤箱分组,成品状态仍须实际检查,不把书中时间当所有设备的保证。
相关知识卡:比萨面团与热底面配合。
原书依据 · 1 处
后记
从本书继续跨学科学习
后记把混沌工程与SRE、性能、内核和测试联系起来,给出检索书单和会议。纯推荐只登记文献;对另一本混沌工程著作与本书的分工已有实质说明,保留为延伸参考。
相关知识卡:实践经验补充注入技术。
Conf42与Chaos Conf在原书中仅作会议检索入口;本笔记不把会议名称当成已经阅读的论文或已验证的工程案例。
原书依据 · 1 处
跨章综合
第一组联系是观测与因果。系统资源异常不自动解释业务异常;必须把请求耗时、错误、进程状态和故障时间线连起来。指标帮助发现变化,日志保留事件,系统层追踪补充文件访问和进程执行等细节,再结合应用的依赖路径解释请求结果。实验既改变系统,也可能改变测量本身:代理、采样周期和额外探针都应纳入解释。
第二组联系是局部恢复与整体恢复。服务管理器可以拉起进程,kubelet可以重建容器,控制器可以补足Pod,但用户仍可能因未就绪、网络规则过时、依赖超时或客户端错误处理而失败。重试还可能使已变慢的依赖承担更多工作。理解这些机制处于哪一层,才能选择相应故障和终端断言。
第三组联系是自动化与边界。匹配、过滤、动作、断言、清理构成可重跑的实验,但工具执行成功不能替代假设被验证的证据。持续运行扩大了观察条件,不会消除未知状态;副本分散降低共同失效机会,也不能凭标签证明基础设施完全独立。把范围、时限、缓存、版本与恢复条件写清,才能比较结果。
最后,团队也是恢复路径的一部分。只有一人掌握知识、重要信息未经核验、审批响应成为瓶颈,都会使技术设计的冗余失效。组织方法的目标是共享理解和改进流程;人有信任、意愿和真实工作压力,不能把技术故障注入直接当作对同事实施游戏的授权。
发散与实践
以下是读者延伸。优先通过公开实现和测试理解故障注入边界,再决定是否需要现实实验。本次已准备固定版本源码映射和官方文档对照,后续计划与实测结果严格分开;未执行故障命令、VM安装、部署或人员实验。
- 深读TCP延迟注入边界:从连接、双向链、延迟毒剂和测试断言解释配置值的真正含义。
- 深读自动实验清理机制:将克隆、验证与清理映射到PowerfulSeal实际实现,识别成功与失败路径。
- 核对实验断言与证据:基于五项官方对照,把“Running/成功/最新”拆成可核验状态和前提。