知识卡片
复盘也检查救火动作
故障期间的重启、切换等操作既可能恢复服务,也可能扩大影响。把动作放回已知触发条件与节点状态中,核对每一步实际效果;把有效动作沉淀为预案,把有害动作转为防错措施。未验证的应急经验不应直接推广成标准操作。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 事故复盘 · 查看原书依据
另外因为线上系统的复杂性,有时定位到了触发原因后,再分析事故处理操作,还有可能发现是事故修复操作加重线上事故严重程度的情况。例如,线上业务有异常抛错,在修复问题时,错误重启了原来正常的服务器,导致所有节点变异常。
参考来源
- 位置:《大型网站运维:从系统管理到SRE》第7章《事故复盘》(来源项目:book-sources;源文件:extracted/大型网站运维:从系统管理到SRE/_epub-src/text/part0009_split_003.html)
- 结论依据:原文在7.3 事故分析的逻辑和原则中给出的机制、案例或图表支撑本卡;保留其业务前提,示例数字不作为通用标准,补充限制与实测结果明确区分。
- 原始内容:另外因为线上系统的复杂性,有时定位到了触发原因后,再分析事故处理操作,还有可能发现是事故修复操作加重线上事故严重程度的情况。例如,线上业务有异常抛错,在修复问题时,错误重启了原来正常的服务器,导致所有节点变异常。