知识卡片
优化常态可能放大灾难
系统过载时总要牺牲些什么,越过临界点后,给一部分用户返回错误或低质量结果,好过硬撑着服务所有请求。更值得警惕的是:许多为了降低背景错误率、优化稳态性能的改变,比如失败重试、负载自动转移、自动杀掉不健康的服务器、加缓存降延迟,在大规模故障时反而会放大事故。这些改动在评审时要同时问它在过载下的行为。发散:常态最优和灾难时最稳往往是两回事。参见[[连锁故障源于正反馈]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第22章 处理连锁故障 · 查看原书依据
如果不加小心,某些原本为了降低服务背景错误率或者优化稳定状态的改变反而会让服务更容易出现事故。在请求失败的时候重试、负载自动转移、自动杀掉不健康的服务器、增加缓存以提高性能或者降低延迟:这些手段原本都是为了优化正常情况下的服务性能,但是也可能会提高大规模的服务故障的几率。一定要小心评估这些改变,否则灾难就会接踵而至。
参考来源
- 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`)
- 结论依据:原文小结指出越过临界点后应牺牲部分请求,并列举重试、自动转移、自动杀进程、加缓存等常态优化可能提高大规模故障的几率。
- 原始内容:在请求失败的时候重试、负载自动转移、自动杀掉不健康的服务器、增加缓存以提高性能或者降低延迟:这些手段原本都是为了优化正常情况下的服务性能,但是也可能会提高大规模的服务故障的几率。