知识卡片
先后顺序只是因果线索
CPU上涨和请求堆积同时出现时,比较时间线有助于提出假设;还需检查上下游、调用路径和共同触发因素。监控粒度与时钟误差可能掩盖顺序,先发生也不自动构成原因。不能把相关指标中最早变红的一项直接命名为唯一根因。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 事故复盘 · 查看原书依据
数据库过载后,你会发现业务系统的各个异常指标都上升了,如CPU使用率和请求堆积量异常上升,你可以怀疑是CPU使用上升导致请求堆积,也可以怀疑是请求堆积量上升导致 CPU 使用上升。这时就需要讲究分析技巧和经验,如分析监控数据和日志的发生时序,一般能定位到一个是“因”,另一个是“果”。如果当单个节点的监控数据不能解读出有用信息时,那么就需要扩大信息解读范围。例如,分析调用链路异常出现的顺序和分析上下游调用服务的监控数据和日志。
参考来源
- 位置:《大型网站运维:从系统管理到SRE》第7章《事故复盘》(来源项目:book-sources;源文件:extracted/大型网站运维:从系统管理到SRE/_epub-src/text/part0009_split_003.html)
- 结论依据:原文在7.3 事故分析的逻辑和原则中给出的机制、案例或图表支撑本卡;保留其业务前提,示例数字不作为通用标准,补充限制与实测结果明确区分。
- 原始内容:数据库过载后,你会发现业务系统的各个异常指标都上升了,如CPU使用率和请求堆积量异常上升,你可以怀疑是CPU使用上升导致请求堆积,也可以怀疑是请求堆积量上升导致 CPU 使用上升。这时就需要讲究分析技巧和经验,如分析监控数据和日志的发生时序,一般能定位到一个是“因”,另一个是“果”。如果当单个节点的监控数据不能解读出有用信息时,那么就需要扩大信息解读范围。例如,分析调用链路异常出现的顺序和分析上下游调用服务的监控数据和日志。