主题对照

故障排查与根因分析

比较排查系统问题时的假设管理、基线对比与复现方法。

74 张卡片 · 21 本书

本层 74 张卡片 · 含下级覆盖 74 张卡片

本主题的卡片

Google系统架构解密:构建安全可靠的系统 · 调查系统

系统越老越该疑心罕见故障

小而新的系统通常先排查常见缺陷;经过多年修复、规模巨大的系统里,罕见故障也会因组件数量而频繁出现。书中以大量 RAM 芯片使低概率位错误累积为例。调试假设应随系统成熟度和规模调整,不能一直用小系统的直觉排除边缘故障。

查看卡片与原书出处

Google系统架构解密:构建安全可靠的系统 · 调查系统

记录被推翻的假设一样有价值

调试时把观察到的现象和当下的假设随手记下来,即使这个假设几分钟后就被证伪,这份记录依然有三重用处:使调查展开有条理、帮自己记住走过的步骤;让另一个调试人通过阅读注释快速接手或想出新思路,避免重复劳动;在安全事件里,这份记录未来可能需要用来证明调查人员和攻击者分别采取了哪些行动,有时甚至要用在法庭上。”这条路已经走不通了”和”这条路还没试过”同样是有用的信息。

查看卡片与原书出处

Google系统架构解密:构建安全可靠的系统 · 调查系统

用历史基线判断异常是否真的异常

一次严重的代码缺陷造成YouTube全球停机后,调查人员一度担心它是否在全网范围内推高了内存溢出(OOM)的数量,但把当天的OOM数据和前两周的基线一比对,发现每天本就存在大量OOM——这次事故虽然严重,却根本没有让这项指标偏离正常范围。没有历史基线做参照,任何一个看起来吓人的数字都可能被误判成信号,而实际上它只是系统一直以来的背景噪声,真正的问题出在别处。

查看卡片与原书出处

Google系统架构解密:构建安全可靠的系统 · 调查系统

次优表现容易被误当成正常状态

一台服务器长期存在约10%的内存碎片化损耗,团队多年来把这个数字当成”就是这样”接受了下来,直到检查了碎片配置文件才发现这本可以被优化掉。运维压力大、告警多的团队尤其容易把”违反最佳实践但一直没出大事”的现象默认成正常状态,只有积极听取新成员意见、鼓励新观点表达、轮换值班和响应团队成员、编写文档反思系统理解程度,或借助红队测试,才能打破这种集体性的视而不见。

查看卡片与原书出处

Google系统架构解密:构建安全可靠的系统 · 调查系统

生产环境外复现问题能让更多人一起排查

能在生产环境之外复现一个缺陷,好处不只是不用担心操作会搞崩正在服务真实用户的系统——更隐蔽的收益是,因为不涉及真实用户数据,可以放心地让更多工程师一起参与排查、开启平时不敢开的额外日志、甚至让新人也上手尝试,而不用为数据安全焦虑。有时在生产环境外做调试行不通,比如错误只在系统满载规模下才会触发。复现环境的隔离程度,直接决定了一个问题能调动多大的调查力量。

查看卡片与原书出处

Google系统架构解密:构建安全可靠的系统 · 调查系统

相关性值得深挖但不能直接当因果

两件事同时发生,不代表一件导致另一件:也可能是独立问题碰巧相遇。但相关性值得追问,比较多个故障的共同点常能找到根因;Google还用系统自动关联机器问题与Borg任务。不能发现相关性就下结论:一次事故中旧代码性能差引发限流,优化后其他部分反而过载,新部署相关却非根因。

查看卡片与原书出处

Google系统架构解密:构建安全可靠的系统 · 调查系统

带着假设去查数据不如先看数据

排查性能问题时,先猜“多半是后端”再局部验证,容易漏掉不熟悉的代码路径。一次Web服务器变慢,性能分析器发现真正原因是把每个输入碎片写盘并调用sync,而非后端。先观察数据、再修正假设,能减少经验盲区;可观测性工具仍需结合系统知识解读。

查看卡片与原书出处

Google系统架构解密:构建安全可靠的系统 · 调查系统

没人再懂的旧系统不如直接删除

一个隔离在独立网络里、很久没人维护、连新团队成员都不知道它存在的旧系统,被安全研究人员报告了漏洞——与其花力气读懂并加固这段没人理解的遗留代码,团队选择直接删除它,用一个功能简化后的新系统替代,因为旧系统的大部分功能已不再需要。遇到年久失修的旧系统时,”删除并简化”有时比”调试并加固”更划算,前提是想清楚旧系统留存至今的功能里究竟哪些是真正还需要的。

查看卡片与原书出处

SRE:Google运维解密 · 第12章 有效的故障排查手段

假设-排除法的故障排查流程

有效的故障排查是可拆解、可传授的循环流程:观察系统状态(监控指标、日志)→结合对系统运行 机制的理解提出可能的失败假设→用两种方式验证假设(对照已有证据,或主动对系统做一次可控调整 并观察结果)→重复循环直到锁定根本原因。这个流程需要两类知识同时到位:通用排障方法论,加上 对具体系统内部构造的了解,新手常见的低效恰恰是只懂流程、不懂系统内部原理。

查看卡片与原书出处

SRE:Google运维解密 · 有效的故障排查手段

先止血再溯源

遇到大范围故障,本能反应是立刻扎进日志找根因,这是错的:第一优先级应是尽最大可能让系统恢复 服务——切走流量、丢弃部分请求防止连锁过载、关闭部分功能降负载,止血比溯源更紧迫,因为根因 未明之前用户始终得不到服务。飞行员培训中同理:紧急情况下让飞机保持飞行永远优先于弄清故障 原因。若某Bug可能导致不可恢复的数据损坏,宁可先停机也不要让系统带病运行。

查看卡片与原书出处

SRE:Google运维解密 · 有效的故障排查手段

相关不等于因果的排障陷阱

排障中最容易踩的坑之一,是把同时出现的两个现象误判为因果——网络丢包和硬盘损坏可能同时发生, 但真正原因或许是供电故障同时触发了两者,二者互不为因果。系统规模越大、监控指标越多,纯属 巧合的同时发生现象就越常见。应优先怀疑最常见、最简单的解释(听到蹄声先想马而非斑马)。书中 案例:App Engine 延迟上升一度被归因为merge_join用量增多,后证实只是伪相关,真正根源是权限 缓存对象未清理膨胀。

查看卡片与原书出处

SRE:Google运维解密 · 有效的故障排查手段

负面结果同样值得公布

实验没有得到预期结果——新设计没能超越旧系统、某算法没带来改进——这类”负面结果”常被当失败 悄悄雪藏,实际价值不亚于成功:它确凿地告诉后来者”这条路走不通、边界在哪里”,让下一个人不必 从零验证。书中举例:某团队评测Web服务器时发现因锁竞争只能撑住800个并发连接而非所需的8000个, 这个结论足以指导下一次选型。公布所有数据能降低数据偏差、加速整个行业的学习速度。

查看卡片与原书出处

SRE:Google运维解密 · 有效的故障排查手段

"什么/哪里/为什么"三问定位资源消耗

一个异常运行的系统通常仍在执行某种操作,只是不是你期望它做的操作——可连续追问:”什么”、 为”什么”、资源消耗在”哪里”。案例中一个 Spanner 任务 CPU 被占满,先问”为什么”定位到在给日志 排序,再连续两次追问”哪里”,逐层收窄到某段正则表达式的计算,最终定位为该正则使用了低效的 回溯算法。发散:每一层都用上一层答案收窄下一层搜索范围,不宜跳过中间层直接问”为什么”。

查看卡片与原书出处

可观测性工程 · 第2章 可观测性和监控之间的调试实践有何不同

迭代式提问

可观测性调试从宽泛现象进入,通过筛选、分组、比较、下钻不断生成新问题。每次查询的答案都改变下一步方向,调查像对系统提问,而不是在固定仪表盘里找熟悉形状。

查看卡片与原书出处

可观测性工程 · 第8章 通过事件分析实现可观测性

第一性调试

从第一性原理调试意味着先观察真实事件分布,再让数据暴露差异,而不是从熟悉故障剧本出发。面对新故障时,这种方式能避免经验偏见,把调查建立在当前系统状态之上。

查看卡片与原书出处

可观测性工程 · 第8章 通过事件分析实现可观测性

比较揭示原因

可观测性分析的核心动作是比较:正常与异常、快与慢、新版本与旧版本、受影响用户与未受影响用户。共同差异通常比单个异常值更接近原因,尤其适合定位高维组合问题。

差异提供相关线索,不直接证明因果;还需检查共同条件、替代解释和后续验证。

查看卡片与原书出处

可观测性工程 · 第8章 通过事件分析实现可观测性

AI不能替提问

自动化可以帮助扫描差异和排序线索,但不能替团队提出有语境的问题。AIOps若承诺自动理解系统,容易忽略业务语义和工程判断;更现实的方向是加速[[第一性调试]]的重复计算部分。

这里保留本书出版时对AIOps的工程判断,不将其泛化为后续AI工具的永久能力上限。

查看卡片与原书出处

架构师启示录-知识模型、落地方法与思维模式 · 系统维护

观察系统的三个层次

事件层面——系统中发生的具体事情,本质是系统属性(存量或流量的另一种表达)发生了什么状态变化(比如上线新功能获得多少新增用户、高并发时响应时间变慢了多少);对黑盒系统来说,事件是观察系统的重要窗口,透过外在事件可以推导系统更深层的内在信息(DDD的”事件风暴”正是用事件反推系统的实体和属性)。行为层面——比单个事件更有意义,因为事件只是一个静态的已发生结果、一个点,而行为呈现的是系统在某个时间段内的趋势,需要通过分析大量事件才能发现重复出现的规律性模式(某月用户量增加是一个事件,但过去几年用户数稳步提升的结论才是一种行为);行为比事件更有价值体现在两点——能明确说明系统某方面的发展趋势、便于推断未来存量变化并及时采取措施;行为模型还揭示了[[存量流量与回路|反馈回路]],说明这个行为是如何一步步发生的。结构层面——关注整个系统及其组成元素相互作用形成的结构特征;事件和行为都是”结果”,结构才是导致这些结果发生的”原因”,让我们不仅”知其然”还能”知其所以然”;每一次流量发生都会引起存量变化并最终产生一个事件,这些事件累积呈现出特定趋势即行为,但无论事件还是行为,最终都由系统自身的结构决定——结构是系统的根本所在,结构一旦改变,系统很可能就变成了另一个完全不同的系统,而行为和事件则可以不断被调整;因此了解结构是观察系统时最高、也最重要的层次。可迁移启发:诊断一个反复出现的生产问题时,先判断自己目前的分析停留在哪个层次——如果只是在罗列”又发生了一次超时”这类事件,说明分析还停留在最浅层;只有追到”这类事件为什么会反复以这种模式出现(行为)、又是系统的哪种结构决定了这种模式会反复发生(结构)”,才算真正触及了问题的根本。

结构图:

flowchart TB
  E["事件层面<br/>(单点,已发生的属性变化,如一次超时)"]
  B["行为层面<br/>(趋势,大量事件中的规律模式,如响应时间逐步升高)"]
  S["结构层面<br/>(系统组成元素的相互作用关系,导致行为和事件的'原因')"]
  S -->|决定| B
  B -->|累积产生| E
  S -.结构变=系统变成另一个系统,最根本.-> R["观察系统的最高层次"]
查看卡片与原书出处

架构师启示录-知识模型、落地方法与思维模式 · 系统维护

定位生产问题三步法

把[[观察系统的三个层次|事件/行为/结构三个层次]]用于实际定位生产问题,可以按顺序走三步。第一步,最初观察到的往往只是一个事件(比如高并发系统出现请求响应超时)——仅凭一个事件就制定解决方案,理由并不充分,需要继续深入分析。第二步,分析系统行为——判断这次请求超时是偶发的,还是响应时间逐步升高、最终导致超时;同时要把与这次超时相关的其他事件串联起来看,寻找一条可疑的链路(比如某台服务器日志短时间内暴涨、或某台服务节点CPU使用率突然飙升,都要纳入考虑范围);通过分析行为,通常能发现系统中一些异常或可疑实体、以及它们之间的交互模式——这种交互模式其实就是系统里的回路,回路长时间运行会形成特定的行为模式,一旦其中的不良趋势没有被及时调整,就可能导致负面事件浮现。第三步,做结构分析——在第二步基础上进一步分析出系统的组成要素及其交互关系(即系统的结构模型),因为结构决定了系统可能出现的行为和事件,从结构可以推导出存量、流量变化以及回路的运作机制,并验证这次事件是否真的与这个结构相吻合。只有走完这三步才能定位到问题的根本原因,否则很容易陷入治标不治本、甚至解决一个问题又引发另一个问题的境地——定位和解决问题的本质,要求我们对系统有足够深入的理解。可迁移启发:排查一次线上故障时,把复盘报告按”这次事故的表面事件是什么→背后的行为模式是什么(偶发还是渐进、涉及哪条可疑链路)→是什么结构性设计导致了这种行为模式会反复出现”这三段来写,比只写”发生了什么、怎么临时修复的”更能确保团队真正抓住了根因,而不是下次同一处结构继续制造类似的事件。

结构图:

flowchart TB
  A["第一步:观察到的事件<br/>(如请求响应超时)"]
  A --> B["第二步:分析系统行为<br/>(偶发还是渐进?串联可疑关联事件,找出可疑链路/回路)"]
  B --> C["第三步:结构分析<br/>(组成要素+交互关系,验证事件是否与结构吻合)"]
  C --> D["定位到根本原因<br/>(否则治标不治本,甚至引发新问题)"]
查看卡片与原书出处

程序员的底层思维 · 逻辑思维

三类推理互补

演绎适合从规则推出必然结论,归纳适合从样本提炼趋势,溯因适合在故障和不确定场景中提出最佳解释。问题定位常常三者交替:先猜原因,再找证据,最后验证结论。

演绎的必然性以有效形式和真实前提为条件;归纳会随反例和新样本修正;溯因提出的是待验证解释。建模时可以先从实例归纳,再用具体场景演绎检查,失败后重新考虑假设,而非只把三种名称排成固定顺序。

查看卡片与原书出处

程序员的底层思维 · 逻辑思维

五问追因

5Why 的价值不是机械问五次,而是沿因果链从表象走向结构性原因。一次线上故障若只修复报错点,问题会换形态复发;追到流程、机制或设计缺口,改动才真正有效。

追问每一环都需要证据,也可能分出多个共同原因;停止点应结合已经查明的机制、可采取的动作及尚存的不确定性,而不是机械达到五问或编出唯一深层原因。

查看卡片与原书出处

高效程序员的45个习惯敏捷开发修炼之道 (图灵程序设计丛书 11)

追问根因

面对故障、设计疑问或含混需求,先区分已知事实与表面解释,再追问为什么并寻找证据,逐步检查造成症状的条件。问题应紧扣任务,也应解释为何要问;不知道可作为继续调查的起点。次数不是目标,不能机械问满五次或强行把复杂问题压成唯一原因。

查看卡片与原书出处

高效程序员的45个习惯敏捷开发修炼之道 (图灵程序设计丛书 11)

问题解决日志

把问题发生日期、现象、解决过程、相关版本与参考材料保存在可搜索的日志里,可以减少重复探索。修复后及时补记,使用以后容易想到的关键字,并与团队共享。条目保持轻量,截图或代码只放必要内容;旧方案是调查线索,要核对版本和情境差异后再用。重要决策的原因也值得保存,避免日后只能猜测。

查看卡片与原书出处

高效程序员的45个习惯敏捷开发修炼之道 (图灵程序设计丛书 11)

隔离问题空间

定位复杂故障时,抽出相关组件并建立可运行的小环境,可减少无关细节并更容易改变条件。原例以小原型向厂商展示数据库相关症状,也避免发送整个代码库。问题仍在说明较小环境已保留关键条件;问题消失则提示要比较被移除的依赖和运行条件,不能据此宣布故障不存在。

查看卡片与原书出处

Spring微服务实战 · 使用Spring Cloud Sleuth和Zipkin进行分布式跟踪

日志聚合投入的真实回报

没有日志聚合时,排查跨服务问题只能逐台登录服务器翻日志、为每次排查写一次性查询脚本,服务器一崩溃日志还会丢失。作者曾追踪三个服务间潜伏一年多的竞态条件,它在负载增加后才暴露;团队用1.5周遍历几十个场景的跟踪输出才找到,没有聚合平台根本发现不了。这类投入早期看不到回报,只在疑难问题出现时一次兑现。

查看卡片与原书出处

分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关

攻关先问三件事

技术攻关先问三个问题:最近有没有上线或变更?以前遇到过类似问题吗?有没有相关领域的专家?作者所在支付平台上,因上线导致的问题占全部线上问题的 30% 以上,所以若是上线引起的,第一时间回滚,每次上线都要有快速回滚方案;有历史经验就直接复用;遇到安全、性能、数据库等深层问题,先求助领域专家。

查看卡片与原书出处

分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关

最小化复现

日志不足以还原执行路径、问题又难以复现时,就要做最小化复现:按问题产生的条件,在个人开发环境里模拟生产环境把问题重现出来。这个环境只包含问题涉及的最少组件,不必搭全套系统:一来容易搭建,二来组件范围越小,干扰越少,越能迅速定位原因。

查看卡片与原书出处

分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关

用数据排查OOM

一次 OOM 报“无法创建新的本地线程”,可能原因有两个:内存不足,或达到操作系统的线程数上限。先用公式“最大线程数 =(可用内存 − JVM 内存 − 系统预留)÷ 线程栈大小”估算:剩余 700MB 还能建约 700 个线程,排除内存原因。再查限制:ulimit 显示最大用户进程数为 1024,而 pstack 统计该用户已有 1021 个线程,于是定位到进程数上限。

查看卡片与原书出处

分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关

两套线程池叠加超限

上一案例的根因是:每天零点用 cat 切割日志,磁盘 I/O 等待达到 59%,打印日志被阻塞,线程池随之被撑大。Tomcat 线程池只设了 800,本不该超过 1024 的进程数上限;但服务同时配了 Dubbo 和用于降级的点对点 RPC,各自有线程池,部分服务自动降级、部分没有,两个线程池同时被撑满(800+800),就超过了上限。降级路径的资源也要算进总量。

查看卡片与原书出处

分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关

并发队列size非O(1)

一次 CPU 偶发 100% 的事故:新上线的异步推送功能用 ConcurrentLinkedQueue 缓存事件,每次入队前先调用 size() 判断是否已满。jstack 显示大部分线程都卡在 size() 上:这类并发集合的 size() 需要遍历统计,时间复杂度是 O(n)。下游推送一阻塞、数据一积压,size() 就越来越慢。改进办法是换成环形队列、Disruptor 或其他有界队列。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 396 路径上下文 · 卡片缺失
    • 展开或收起下级: 396.a 路径上下文 · 卡片缺失
      • 展开或收起下级: 396.a.1 路径上下文 · 卡片缺失
        • 展开或收起下级: 396.a.1.f RPC四层协作 路径上下文 115-RPC实战与核心原理 · 07|架构设计:设计一个灵活的RPC框架 理解等级:中级
          • 396.a.1.f.9 异常标明故障环节 主题成员 115-RPC实战与核心原理 · 19|分布式环境下如何快速定位问题? 理解等级:中级
  • 展开或收起下级: 1460 系统越老越该疑心罕见故障 主题成员 Google系统架构解密:构建安全可靠的系统 · 调查系统 理解等级:未标注
  • 展开或收起下级: 1502 线程是调度粒度 路径上下文 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 进程与线程的区别 理解等级:未标注
    • 展开或收起下级: 1502.h Java线程状态转换 路径上下文 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 线程的生命周期 理解等级:中级
      • 1502.h.1 线程转储是瞬时快照 主题成员 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 使用Jstack工具查看线程状态 理解等级:中级
  • 展开或收起下级: 1522 显式锁需模板 路径上下文 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 使用显式锁的模板代码 理解等级:未标注
    • 展开或收起下级: 1522.b 反向获取锁会形成循环等待 路径上下文 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 死锁的监测与中断 理解等级:中级
      • 1522.b.1 死锁检测范围有边界 主题成员 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 死锁的监测与中断 理解等级:中级
  • 展开或收起下级: 1595 假设-排除法的故障排查流程 主题成员 SRE:Google运维解密 · 第12章 有效的故障排查手段 理解等级:未标注
  • 1596 负面结果同样值得公布 主题成员 SRE:Google运维解密 · 有效的故障排查手段 理解等级:未标注
  • 展开或收起下级: 1733 监控先验陷阱 路径上下文 可观测性工程 · 第2章 可观测性和监控之间的调试实践有何不同 理解等级:未标注
    • 1733.a 迭代式提问 主题成员 可观测性工程 · 第2章 可观测性和监控之间的调试实践有何不同 理解等级:未标注
  • 展开或收起下级: 1739 第一性调试 主题成员 可观测性工程 · 第8章 通过事件分析实现可观测性 理解等级:未标注
    • 1739.a 比较揭示原因 主题成员 可观测性工程 · 第8章 通过事件分析实现可观测性 理解等级:未标注
    • 1739.b AI不能替提问 主题成员 可观测性工程 · 第8章 通过事件分析实现可观测性 理解等级:未标注
    • 1739.c 用四步循环缩小调查区域 主题成员 可观测性工程 · 第8章 通过事件分析实现可观测性 理解等级:中级
  • 展开或收起下级: 1742 观测驱动开发 路径上下文 可观测性工程 · 第11章 可观测性驱动开发 理解等级:未标注
    • 展开或收起下级: 1742.b 微服务调试边界 路径上下文 可观测性工程 · 第11章 可观测性驱动开发 理解等级:未标注
  • 展开或收起下级: 1793 约束定义嵌入式 路径上下文 嵌入式系统设计与实践 · 导论 理解等级:未标注
  • 展开或收起下级: 1795 硬件测试先于功能 路径上下文 嵌入式系统设计与实践 · 检视硬件 理解等级:未标注
  • 展开或收起下级: 1892 逻辑就是关系 路径上下文 程序员的底层思维 · 逻辑思维 理解等级:未标注
    • 1892.b 三类推理互补 主题成员 程序员的底层思维 · 逻辑思维 理解等级:未标注
    • 1892.c 五问追因 主题成员 程序员的底层思维 · 逻辑思维 理解等级:未标注
  • 2106 追问根因 主题成员 高效程序员的45个习惯敏捷开发修炼之道 (图灵程序设计丛书 11) 理解等级:未标注
  • 2126 问题解决日志 主题成员 高效程序员的45个习惯敏捷开发修炼之道 (图灵程序设计丛书 11) 理解等级:未标注
  • 2128 隔离问题空间 主题成员 高效程序员的45个习惯敏捷开发修炼之道 (图灵程序设计丛书 11) 理解等级:未标注
  • 展开或收起下级: 2274 企业IT建设四阶段 路径上下文 中台架构与实现:基于DDD和微服务 理解等级:未标注
    • 展开或收起下级: 2274.e 微服务是手段 路径上下文 中台架构与实现:基于DDD和微服务 理解等级:未标注
      • 展开或收起下级: 2274.e.1 微服务以独立能力协作 路径上下文 生产微服务 · 微服务简介 理解等级:中级
        • 展开或收起下级: 2274.e.1.a 横向与纵向扩展 路径上下文 生产微服务 · 微服务简介 理解等级:初级
          • 展开或收起下级: 2274.e.1.a.6 单机与集群如何选择 路径上下文 高并发系统设计40问 · 高并发系统:它的通用设计方法是什么? 理解等级:未标注
            • 展开或收起下级: 2274.e.1.a.6.g 业务层按三维度拆分 路径上下文 高并发系统设计40问 · 系统设计目标(三):如何让系统易于扩展? 理解等级:未标注
              • 展开或收起下级: 2274.e.1.a.6.g.13 追踪与监控回答不同问题 路径上下文 高并发系统设计40问 · 微服务架构:微服务化后系统架构要如何改造? 理解等级:未标注
                • 展开或收起下级: 2274.e.1.a.6.g.13.a 慢请求要定位耗时步骤 路径上下文 高并发系统设计40问 · 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? 理解等级:未标注
                  • 展开或收起下级: 2274.e.1.a.6.g.13.a.6 埋点呈现调用方体验 路径上下文 高并发系统设计40问 · 给系统加上眼睛:服务端监控要怎么做? 理解等级:未标注
                    • 展开或收起下级: 2274.e.1.a.6.g.13.a.6.b 服务端看不到未到达请求 路径上下文 高并发系统设计40问 · 应用性能管理:用户的使用体验应该如何监控? 理解等级:未标注
                      • 2274.e.1.a.6.g.13.a.6.b.1 客户端监控补足服务端盲区 主题成员 高并发系统设计40问 · 春节特别策划:高并发下如何发现和排查问题? 理解等级:未标注
                      • 2274.e.1.a.6.g.13.a.6.b.2 从故障表象推理根因 主题成员 高并发系统设计40问 · 春节特别策划:高并发下如何发现和排查问题? 理解等级:未标注
                      • 2274.e.1.a.6.g.13.a.6.b.3 按时间和节点归纳故障共性 主题成员 高并发系统设计40问 · 春节特别策划:高并发下如何发现和排查问题? 理解等级:未标注
                      • 2274.e.1.a.6.g.13.a.6.b.4 后台任务可能造成周期性抖动 主题成员 高并发系统设计40问 · 春节特别策划:高并发下如何发现和排查问题? 理解等级:未标注
                      • 2274.e.1.a.6.g.13.a.6.b.5 时钟偏差会误判节点心跳 主题成员 高并发系统设计40问 · 春节特别策划:高并发下如何发现和排查问题? 理解等级:未标注
                      • 2274.e.1.a.6.g.13.a.6.b.6 慢请求引发Redis淘汰循环 主题成员 高并发系统设计40问 · 春节特别策划:高并发下如何发现和排查问题? 理解等级:未标注
                      • 2274.e.1.a.6.g.13.a.6.b.7 CPU排查要结合线程和调度信号 主题成员 高并发系统设计40问 · 春节特别策划:高并发下如何发现和排查问题? 理解等级:未标注
                      • 2274.e.1.a.6.g.13.a.6.b.8 堆外内存泄漏要看进程映射 主题成员 高并发系统设计40问 · 春节特别策划:高并发下如何发现和排查问题? 理解等级:未标注
          • 展开或收起下级: 2274.e.1.a.10 拐点标记系统容量边界 路径上下文 高并发系统设计40问 · 系统设计目标(一):如何提升系统性能? 理解等级:未标注
  • 展开或收起下级: 2275 系统三要素 路径上下文 从零开始学架构 · 架构到底是指什么? 理解等级:未标注
    • 展开或收起下级: 2275.ak 自动化测试与部署 路径上下文 从零开始学架构 · 微服务架构最佳实践 - 基础设施篇 理解等级:未标注
      • 展开或收起下级: 2275.ak.2 API网关统一外部入口 路径上下文 从零开始学架构 · 微服务架构最佳实践 - 基础设施篇 理解等级:未标注
  • 展开或收起下级: 2282 架构知识模型的推导 路径上下文 架构师启示录-知识模型、落地方法与思维模式 · 架构认知框架概述 理解等级:未标注
    • 展开或收起下级: 2282.l 存量流量与回路 路径上下文 架构师启示录-知识模型、落地方法与思维模式 · 系统维护 理解等级:未标注
      • 2282.l.1 观察系统的三个层次 主题成员 架构师启示录-知识模型、落地方法与思维模式 · 系统维护 理解等级:未标注
      • 2282.l.2 定位生产问题三步法 主题成员 架构师启示录-知识模型、落地方法与思维模式 · 系统维护 理解等级:未标注
  • 展开或收起下级: 2284 运维架构覆盖服务生命周期 路径上下文 高性能之道SRE视角下的运维架构实践 · 引言 理解等级:未标注
    • 展开或收起下级: 2284.i 用工程方法持续改进运维 路径上下文 大型网站运维:从系统管理到SRE · 第1章 关于SRE 理解等级:中级
      • 展开或收起下级: 2284.i.7 运维价值连到效率成本和中断 路径上下文 大型网站运维:从系统管理到SRE · 第2章 SRE在组织内部的定位 理解等级:中级
        • 展开或收起下级: 2284.i.7.b 根因调查串联多源证据 路径上下文 大型网站运维:从系统管理到SRE · 第5章 异常响应 说到线上异常,很多人会想到线上各种监控指标报警的场景。尤其是收到线上核心组件的异常报警后,整个人马上就会肾上腺素飙升,甚至开始出现呼吸急促的状态。发生异常往往意味着线上出现了问题,虽然所有人都不希望发生异常,但在实际工作中线上异常的出现是无法避免的。只要线上业务还在运行,肯定就会有问题被触发,不是变更导致的,就是服务器老化等被动因素导致的。对运维团队来说所有的异常必须被响应处理。在不同的公司,不同的部门异常响应可能有不一样的点,本章将结合作者之前的经历探讨异常响应相关的问题。 理解等级:中级
          • 2284.i.7.b.6 找到异常不等于找到根因 主题成员 混沌工程:通过可控故障实验提升软件系统可靠性 · 可观测性 理解等级:高级
  • 2596 日志聚合投入的真实回报 主题成员 Spring微服务实战 · 使用Spring Cloud Sleuth和Zipkin进行分布式跟踪 理解等级:未标注
  • 展开或收起下级: 2821 海恩法则重在积累 路径上下文 分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关 理解等级:未标注
    • 2821.b 攻关先问三件事 主题成员 分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关 理解等级:未标注
    • 2821.c 最小化复现 主题成员 分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关 理解等级:未标注
    • 2821.d 用数据排查OOM 主题成员 分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关 理解等级:未标注
    • 2821.e 两套线程池叠加超限 主题成员 分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关 理解等级:未标注
    • 2821.f 并发队列size非O(1) 主题成员 分布式服务架构_原理、设计与实战 · Java服务的线上应急和技术攻关 理解等级:未标注
  • 4243 故障排查是反向推导 主题成员 高可用架构(第1卷) · 运维保障 理解等级:高级
  • 4244 已获取信息的定量与归类分析 主题成员 高可用架构(第1卷) · 运维保障 理解等级:高级
  • 4245 排查时的两个非技术性障碍 主题成员 高可用架构(第1卷) · 运维保障 理解等级:中级
  • 4246 排查工具三分钟临界点 主题成员 高可用架构(第1卷) · 运维保障 理解等级:高级
  • 4247 陌生问题减法排查 主题成员 高可用架构(第1卷) · 运维保障 理解等级:高级
  • 4248 排查与解决要分离 主题成员 高可用架构(第1卷) · 运维保障 理解等级:高级
  • 4598 诊断需区分网格与工作负载 主题成员 The Enterprise Path to Service Mesh Architectures, 2nd Edition · 采用结论 理解等级:高级
  • 5005 伴随变化不等于真正原因 主题成员 可观测性工程 · 第2章 可观测性和监控之间的调试实践有何不同 理解等级:中级
  • 5173 显眼症状不等于系统根因 主题成员 可观测性工程 · 第19章 可观测性的商业案例 理解等级:高级
  • 5177 查看响应历史排查交互 主题成员 RESTful Web API Patterns and Practices Cookbook Connecting and Orchestrating Microservices and Distributed Data (Mike Amundsen) · 附录D:HyperCLI操作参考 理解等级:中级
  • 5225 一次故障可有多个根源问题 主题成员 SRE:Google运维解密 · 第6章 分布式系统的监控 理解等级:初级
  • 5243 每份故障报告都应成为Bug 主题成员 SRE:Google运维解密 · 第12章 有效的故障排查手段 理解等级:初级
  • 5245 先查最后一次修改 主题成员 SRE:Google运维解密 · 第12章 有效的故障排查手段 理解等级:初级
  • 展开或收起下级: 5520 退出状态是线索而非根因 主题成员 混沌工程:通过可控故障实验提升软件系统可靠性 · 来碗混沌与爆炸半径 理解等级:中级
    • 5520.a 终止信号要区分语义 主题成员 混沌工程:通过可控故障实验提升软件系统可靠性 · 来碗混沌与爆炸半径 理解等级:高级
  • 5521 查看状态定位进程终止 主题成员 混沌工程:通过可控故障实验提升软件系统可靠性 · 来碗混沌与爆炸半径 理解等级:中级

未编号或编号待整理

来源书籍

来源书籍

SRE:Google运维解密

CI/CD 与 DevOps 实践类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 6/6

381 张卡片

来源书籍

Spring微服务实战

框架类

Skill 版本:v8

书籍类型:经典原理

清单覆盖 8/8

43 张卡片

来源书籍

可观测性工程

可观测性/监控类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 8/8

189 张卡片

来源书籍

嵌入式系统设计与实践

机器人与嵌入式系统实战类

Skill 版本:v23

书籍类型:未标注

清单覆盖 7/7

297 张卡片

来源书籍

程序员的底层思维

软件设计与复杂性管理类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 5/6

297 张卡片

来源书籍

高可用可伸缩微服务架构

高可用与云架构风险管理类。依据:全书主要处理服务拆分后的可用性、依赖故障、双活、演练与运行观测;云迁移并非本书核心内容,清单中未讲的维度如实记缺口。第13章虽提及Kubernetes和Service Mesh,本书并非以容器编排平台上的交付与运维为主要目标,故不按“云原生微服务实战类”核对。

Skill 版本:v15

书籍类型:工程实践

清单覆盖 6/7

379 张卡片

来源书籍

高并发系统设计40问

系统架构类

Skill 版本:v8

书籍类型:工程实践

清单覆盖 7/7

442 张卡片

主题索引

变更发布与回滚安全

比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。

312 张卡片 · 75 本书

主题索引

嵌入式软件设计

比较嵌入式系统在资源约束下的硬件抽象、驱动与外设通信、执行器控制、固件更新与低功耗设计。

229 张卡片 · 4 本书

主题索引

事件响应与处置

比较事故/安全事件的分级、指挥、沟通、演练与交接做法。

205 张卡片 · 31 本书

主题索引

性能剖析与诊断工具

比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。

168 张卡片 · 34 本书

主题索引

日志、审计与取证

日志该记什么、怎么分级与结构化,采集管道与存储成本,以及审计证据与安全事件还原。

167 张卡片 · 46 本书

主题索引

可观测性工程化

三支柱的关系与成本、自建与采购、成熟度演进、组织文化与工具化落地。

112 张卡片 · 27 本书