知识卡片
限速分发配置延缓崩溃
那次坏配置事故中,受影响系统本身带有限速机制,限制向新客户端分发配置变更的速度。这可能拖慢了崩溃循环的蔓延,让部分任务在崩溃前还能处理一些请求。另一个保护来自运气:发布配置的工程师恰好在看实时沟通频道,见到大量故障报告后迅速回滚。事后的结论是,不论变更看起来风险多小,都要经过严格完整的部署测试,不能把运气当作流程。发散:传播速度本身是防线。参见[[低风险变更评估可能漏掉稀有参数组合]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 紧急事件响应 · 查看原书依据
这些工具和访问方式在这次事故中起到了重大作用,但是工程师应该更加频繁地测试,以便更为熟悉它们。 Google的系统架构体系提供了另外一层保护,这次受影响的系统包含了限速机制,限制他们给新客户端分发配置变更的速度。这些限速措施可能抑制了崩溃循环的速度,使得某些任务可以在崩溃之前还可以处理一些服务器请求,从而避免了进入彻底不可用的状态。 最后,我们不应该小看运气这个因素。这次我们能够迅速解决问题是因为进行部署变更的工程师恰好在监控某些实时通信频道,这并不是发布过程中要求的。
参考来源
- 位置:《SRE:Google运维解密》第13章《紧急事件响应》(源文件:`_epub-src/OEBPS/Text/0009_0004.xhtml`)
- 结论依据:原文分析限速分发如何抑制崩溃循环,承认运气因素,并据此提高部署测试优先级、要求所有变更都经完整测试。
- 原始内容:这次受影响的系统包含了限速机制,限制他们给新客户端分发配置变更的速度。这些限速措施可能抑制了崩溃循环的速度,使得某些任务可以在崩溃之前还可以处理一些服务器请求,从而避免了进入彻底不可用的状态。