系统越老越该疑心罕见故障
小而新的系统通常先排查常见缺陷;经过多年修复、规模巨大的系统里,罕见故障也会因组件数量而频繁出现。书中以大量 RAM 芯片使低概率位错误累积为例。调试假设应随系统成熟度和规模调整,不能一直用小系统的直觉排除边缘故障。
主题对照
比较排查系统问题时的假设管理、基线对比与复现方法。
小而新的系统通常先排查常见缺陷;经过多年修复、规模巨大的系统里,罕见故障也会因组件数量而频繁出现。书中以大量 RAM 芯片使低概率位错误累积为例。调试假设应随系统成熟度和规模调整,不能一直用小系统的直觉排除边缘故障。
调试时把观察到的现象和当下的假设随手记下来,即使这个假设几分钟后就被证伪,这份记录依然有三重用处:使调查展开有条理、帮自己记住走过的步骤;让另一个调试人通过阅读注释快速接手或想出新思路,避免重复劳动;在安全事件里,这份记录未来可能需要用来证明调查人员和攻击者分别采取了哪些行动,有时甚至要用在法庭上。”这条路已经走不通了”和”这条路还没试过”同样是有用的信息。
一次严重的代码缺陷造成YouTube全球停机后,调查人员一度担心它是否在全网范围内推高了内存溢出(OOM)的数量,但把当天的OOM数据和前两周的基线一比对,发现每天本就存在大量OOM——这次事故虽然严重,却根本没有让这项指标偏离正常范围。没有历史基线做参照,任何一个看起来吓人的数字都可能被误判成信号,而实际上它只是系统一直以来的背景噪声,真正的问题出在别处。
一台服务器长期存在约10%的内存碎片化损耗,团队多年来把这个数字当成”就是这样”接受了下来,直到检查了碎片配置文件才发现这本可以被优化掉。运维压力大、告警多的团队尤其容易把”违反最佳实践但一直没出大事”的现象默认成正常状态,只有积极听取新成员意见、鼓励新观点表达、轮换值班和响应团队成员、编写文档反思系统理解程度,或借助红队测试,才能打破这种集体性的视而不见。
能在生产环境之外复现一个缺陷,好处不只是不用担心操作会搞崩正在服务真实用户的系统——更隐蔽的收益是,因为不涉及真实用户数据,可以放心地让更多工程师一起参与排查、开启平时不敢开的额外日志、甚至让新人也上手尝试,而不用为数据安全焦虑。有时在生产环境外做调试行不通,比如错误只在系统满载规模下才会触发。复现环境的隔离程度,直接决定了一个问题能调动多大的调查力量。
两件事同时发生,不代表一件导致另一件:也可能是独立问题碰巧相遇。但相关性值得追问,比较多个故障的共同点常能找到根因;Google还用系统自动关联机器问题与Borg任务。不能发现相关性就下结论:一次事故中旧代码性能差引发限流,优化后其他部分反而过载,新部署相关却非根因。
排查性能问题时,先猜“多半是后端”再局部验证,容易漏掉不熟悉的代码路径。一次Web服务器变慢,性能分析器发现真正原因是把每个输入碎片写盘并调用sync,而非后端。先观察数据、再修正假设,能减少经验盲区;可观测性工具仍需结合系统知识解读。
一个隔离在独立网络里、很久没人维护、连新团队成员都不知道它存在的旧系统,被安全研究人员报告了漏洞——与其花力气读懂并加固这段没人理解的遗留代码,团队选择直接删除它,用一个功能简化后的新系统替代,因为旧系统的大部分功能已不再需要。遇到年久失修的旧系统时,”删除并简化”有时比”调试并加固”更划算,前提是想清楚旧系统留存至今的功能里究竟哪些是真正还需要的。
有效的故障排查是可拆解、可传授的循环流程:观察系统状态(监控指标、日志)→结合对系统运行 机制的理解提出可能的失败假设→用两种方式验证假设(对照已有证据,或主动对系统做一次可控调整 并观察结果)→重复循环直到锁定根本原因。这个流程需要两类知识同时到位:通用排障方法论,加上 对具体系统内部构造的了解,新手常见的低效恰恰是只懂流程、不懂系统内部原理。
遇到大范围故障,本能反应是立刻扎进日志找根因,这是错的:第一优先级应是尽最大可能让系统恢复 服务——切走流量、丢弃部分请求防止连锁过载、关闭部分功能降负载,止血比溯源更紧迫,因为根因 未明之前用户始终得不到服务。飞行员培训中同理:紧急情况下让飞机保持飞行永远优先于弄清故障 原因。若某Bug可能导致不可恢复的数据损坏,宁可先停机也不要让系统带病运行。
排障中最容易踩的坑之一,是把同时出现的两个现象误判为因果——网络丢包和硬盘损坏可能同时发生, 但真正原因或许是供电故障同时触发了两者,二者互不为因果。系统规模越大、监控指标越多,纯属 巧合的同时发生现象就越常见。应优先怀疑最常见、最简单的解释(听到蹄声先想马而非斑马)。书中 案例:App Engine 延迟上升一度被归因为merge_join用量增多,后证实只是伪相关,真正根源是权限 缓存对象未清理膨胀。
实验没有得到预期结果——新设计没能超越旧系统、某算法没带来改进——这类”负面结果”常被当失败 悄悄雪藏,实际价值不亚于成功:它确凿地告诉后来者”这条路走不通、边界在哪里”,让下一个人不必 从零验证。书中举例:某团队评测Web服务器时发现因锁竞争只能撑住800个并发连接而非所需的8000个, 这个结论足以指导下一次选型。公布所有数据能降低数据偏差、加速整个行业的学习速度。
一个异常运行的系统通常仍在执行某种操作,只是不是你期望它做的操作——可连续追问:”什么”、 为”什么”、资源消耗在”哪里”。案例中一个 Spanner 任务 CPU 被占满,先问”为什么”定位到在给日志 排序,再连续两次追问”哪里”,逐层收窄到某段正则表达式的计算,最终定位为该正则使用了低效的 回溯算法。发散:每一层都用上一层答案收窄下一层搜索范围,不宜跳过中间层直接问”为什么”。
可观测性调试从宽泛现象进入,通过筛选、分组、比较、下钻不断生成新问题。每次查询的答案都改变下一步方向,调查像对系统提问,而不是在固定仪表盘里找熟悉形状。
从第一性原理调试意味着先观察真实事件分布,再让数据暴露差异,而不是从熟悉故障剧本出发。面对新故障时,这种方式能避免经验偏见,把调查建立在当前系统状态之上。
可观测性分析的核心动作是比较:正常与异常、快与慢、新版本与旧版本、受影响用户与未受影响用户。共同差异通常比单个异常值更接近原因,尤其适合定位高维组合问题。
差异提供相关线索,不直接证明因果;还需检查共同条件、替代解释和后续验证。
自动化可以帮助扫描差异和排序线索,但不能替团队提出有语境的问题。AIOps若承诺自动理解系统,容易忽略业务语义和工程判断;更现实的方向是加速[[第一性调试]]的重复计算部分。
这里保留本书出版时对AIOps的工程判断,不将其泛化为后续AI工具的永久能力上限。
事件层面——系统中发生的具体事情,本质是系统属性(存量或流量的另一种表达)发生了什么状态变化(比如上线新功能获得多少新增用户、高并发时响应时间变慢了多少);对黑盒系统来说,事件是观察系统的重要窗口,透过外在事件可以推导系统更深层的内在信息(DDD的”事件风暴”正是用事件反推系统的实体和属性)。行为层面——比单个事件更有意义,因为事件只是一个静态的已发生结果、一个点,而行为呈现的是系统在某个时间段内的趋势,需要通过分析大量事件才能发现重复出现的规律性模式(某月用户量增加是一个事件,但过去几年用户数稳步提升的结论才是一种行为);行为比事件更有价值体现在两点——能明确说明系统某方面的发展趋势、便于推断未来存量变化并及时采取措施;行为模型还揭示了[[存量流量与回路|反馈回路]],说明这个行为是如何一步步发生的。结构层面——关注整个系统及其组成元素相互作用形成的结构特征;事件和行为都是”结果”,结构才是导致这些结果发生的”原因”,让我们不仅”知其然”还能”知其所以然”;每一次流量发生都会引起存量变化并最终产生一个事件,这些事件累积呈现出特定趋势即行为,但无论事件还是行为,最终都由系统自身的结构决定——结构是系统的根本所在,结构一旦改变,系统很可能就变成了另一个完全不同的系统,而行为和事件则可以不断被调整;因此了解结构是观察系统时最高、也最重要的层次。可迁移启发:诊断一个反复出现的生产问题时,先判断自己目前的分析停留在哪个层次——如果只是在罗列”又发生了一次超时”这类事件,说明分析还停留在最浅层;只有追到”这类事件为什么会反复以这种模式出现(行为)、又是系统的哪种结构决定了这种模式会反复发生(结构)”,才算真正触及了问题的根本。
结构图:
flowchart TB
E["事件层面<br/>(单点,已发生的属性变化,如一次超时)"]
B["行为层面<br/>(趋势,大量事件中的规律模式,如响应时间逐步升高)"]
S["结构层面<br/>(系统组成元素的相互作用关系,导致行为和事件的'原因')"]
S -->|决定| B
B -->|累积产生| E
S -.结构变=系统变成另一个系统,最根本.-> R["观察系统的最高层次"]
把[[观察系统的三个层次|事件/行为/结构三个层次]]用于实际定位生产问题,可以按顺序走三步。第一步,最初观察到的往往只是一个事件(比如高并发系统出现请求响应超时)——仅凭一个事件就制定解决方案,理由并不充分,需要继续深入分析。第二步,分析系统行为——判断这次请求超时是偶发的,还是响应时间逐步升高、最终导致超时;同时要把与这次超时相关的其他事件串联起来看,寻找一条可疑的链路(比如某台服务器日志短时间内暴涨、或某台服务节点CPU使用率突然飙升,都要纳入考虑范围);通过分析行为,通常能发现系统中一些异常或可疑实体、以及它们之间的交互模式——这种交互模式其实就是系统里的回路,回路长时间运行会形成特定的行为模式,一旦其中的不良趋势没有被及时调整,就可能导致负面事件浮现。第三步,做结构分析——在第二步基础上进一步分析出系统的组成要素及其交互关系(即系统的结构模型),因为结构决定了系统可能出现的行为和事件,从结构可以推导出存量、流量变化以及回路的运作机制,并验证这次事件是否真的与这个结构相吻合。只有走完这三步才能定位到问题的根本原因,否则很容易陷入治标不治本、甚至解决一个问题又引发另一个问题的境地——定位和解决问题的本质,要求我们对系统有足够深入的理解。可迁移启发:排查一次线上故障时,把复盘报告按”这次事故的表面事件是什么→背后的行为模式是什么(偶发还是渐进、涉及哪条可疑链路)→是什么结构性设计导致了这种行为模式会反复出现”这三段来写,比只写”发生了什么、怎么临时修复的”更能确保团队真正抓住了根因,而不是下次同一处结构继续制造类似的事件。
结构图:
flowchart TB
A["第一步:观察到的事件<br/>(如请求响应超时)"]
A --> B["第二步:分析系统行为<br/>(偶发还是渐进?串联可疑关联事件,找出可疑链路/回路)"]
B --> C["第三步:结构分析<br/>(组成要素+交互关系,验证事件是否与结构吻合)"]
C --> D["定位到根本原因<br/>(否则治标不治本,甚至引发新问题)"]
演绎适合从规则推出必然结论,归纳适合从样本提炼趋势,溯因适合在故障和不确定场景中提出最佳解释。问题定位常常三者交替:先猜原因,再找证据,最后验证结论。
演绎的必然性以有效形式和真实前提为条件;归纳会随反例和新样本修正;溯因提出的是待验证解释。建模时可以先从实例归纳,再用具体场景演绎检查,失败后重新考虑假设,而非只把三种名称排成固定顺序。
5Why 的价值不是机械问五次,而是沿因果链从表象走向结构性原因。一次线上故障若只修复报错点,问题会换形态复发;追到流程、机制或设计缺口,改动才真正有效。
追问每一环都需要证据,也可能分出多个共同原因;停止点应结合已经查明的机制、可采取的动作及尚存的不确定性,而不是机械达到五问或编出唯一深层原因。
面对故障、设计疑问或含混需求,先区分已知事实与表面解释,再追问为什么并寻找证据,逐步检查造成症状的条件。问题应紧扣任务,也应解释为何要问;不知道可作为继续调查的起点。次数不是目标,不能机械问满五次或强行把复杂问题压成唯一原因。
把问题发生日期、现象、解决过程、相关版本与参考材料保存在可搜索的日志里,可以减少重复探索。修复后及时补记,使用以后容易想到的关键字,并与团队共享。条目保持轻量,截图或代码只放必要内容;旧方案是调查线索,要核对版本和情境差异后再用。重要决策的原因也值得保存,避免日后只能猜测。
定位复杂故障时,抽出相关组件并建立可运行的小环境,可减少无关细节并更容易改变条件。原例以小原型向厂商展示数据库相关症状,也避免发送整个代码库。问题仍在说明较小环境已保留关键条件;问题消失则提示要比较被移除的依赖和运行条件,不能据此宣布故障不存在。
没有日志聚合时,排查跨服务问题只能逐台登录服务器翻日志、为每次排查写一次性查询脚本,服务器一崩溃日志还会丢失。作者曾追踪三个服务间潜伏一年多的竞态条件,它在负载增加后才暴露;团队用1.5周遍历几十个场景的跟踪输出才找到,没有聚合平台根本发现不了。这类投入早期看不到回报,只在疑难问题出现时一次兑现。
技术攻关先问三个问题:最近有没有上线或变更?以前遇到过类似问题吗?有没有相关领域的专家?作者所在支付平台上,因上线导致的问题占全部线上问题的 30% 以上,所以若是上线引起的,第一时间回滚,每次上线都要有快速回滚方案;有历史经验就直接复用;遇到安全、性能、数据库等深层问题,先求助领域专家。
日志不足以还原执行路径、问题又难以复现时,就要做最小化复现:按问题产生的条件,在个人开发环境里模拟生产环境把问题重现出来。这个环境只包含问题涉及的最少组件,不必搭全套系统:一来容易搭建,二来组件范围越小,干扰越少,越能迅速定位原因。
一次 OOM 报“无法创建新的本地线程”,可能原因有两个:内存不足,或达到操作系统的线程数上限。先用公式“最大线程数 =(可用内存 − JVM 内存 − 系统预留)÷ 线程栈大小”估算:剩余 700MB 还能建约 700 个线程,排除内存原因。再查限制:ulimit 显示最大用户进程数为 1024,而 pstack 统计该用户已有 1021 个线程,于是定位到进程数上限。
上一案例的根因是:每天零点用 cat 切割日志,磁盘 I/O 等待达到 59%,打印日志被阻塞,线程池随之被撑大。Tomcat 线程池只设了 800,本不该超过 1024 的进程数上限;但服务同时配了 Dubbo 和用于降级的点对点 RPC,各自有线程池,部分服务自动降级、部分没有,两个线程池同时被撑满(800+800),就超过了上限。降级路径的资源也要算进总量。
一次 CPU 偶发 100% 的事故:新上线的异步推送功能用 ConcurrentLinkedQueue 缓存事件,每次入队前先调用 size() 判断是否已满。jstack 显示大部分线程都卡在 size() 上:这类并发集合的 size() 需要遍历统计,时间复杂度是 O(n)。下游推送一阻塞、数据一积压,size() 就越来越慢。改进办法是换成环形队列、Disruptor 或其他有界队列。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/7
97 张卡片
来源书籍
系统架构类
书籍类型:未标注
类别清单尚未核对
384 张卡片
来源书籍
编程语言类
书籍类型:经典原理
类别清单尚未核对
191 张卡片
来源书籍
书籍类型:经典原理
142 张卡片
来源书籍
CI/CD 与 DevOps 实践类
书籍类型:经典原理
清单覆盖 6/6
381 张卡片
来源书籍
框架类
书籍类型:经典原理
清单覆盖 8/8
43 张卡片
来源书籍
书籍类型:经典原理
72 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
70 张卡片
来源书籍
可观测性/监控类
书籍类型:经典原理
清单覆盖 8/8
189 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 6/7
122 张卡片
来源书籍
机器人与嵌入式系统实战类
书籍类型:未标注
清单覆盖 7/7
297 张卡片
来源书籍
数据库/存储引擎类
书籍类型:工程实践
清单覆盖 5/5
48 张卡片
来源书籍
书籍类型:未标注
54 张卡片
来源书籍
软件架构方法论类
书籍类型:经典原理
类别清单尚未核对
88 张卡片
来源书籍
书籍类型:未标注
222 张卡片
来源书籍
软件设计与复杂性管理类
书籍类型:经典原理
清单覆盖 5/6
297 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 6/6
109 张卡片
来源书籍
高可用与云架构风险管理类。依据:全书主要处理服务拆分后的可用性、依赖故障、双活、演练与运行观测;云迁移并非本书核心内容,清单中未讲的维度如实记缺口。第13章虽提及Kubernetes和Service Mesh,本书并非以容器编排平台上的交付与运维为主要目标,故不按“云原生微服务实战类”核对。
书籍类型:工程实践
清单覆盖 6/7
379 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
424 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
442 张卡片
来源书籍
工程管理/团队协作类
书籍类型:经典原理
清单覆盖 4/6
132 张卡片
与 5 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类