原书出处
SRE:Google运维解密
22 第22章 处理连锁故障
防止软件服务器过载 下面描述了避免过载的几种策略,大致以优先级排序。 使用负载压力测试得出服务器的极限,同时测试过载情况下的失败模式 为了避免过载,这一步是最重要的。除非在真实环境下测试,否则很难预测哪种资源会耗尽,以及资源耗尽产生的效果。细节请见本章后面的“连锁故障的测试”一节。 提供降级结果 给用户返回低质量的,但是更容易计算的结果。这里的策略取决于每个服务自己,细节见本章后面的“流量抛弃和优雅降级”一节。 在过载情况下主动拒绝请求 软件服务器应该保护自己不进入过载崩溃状态。当前端或者后端进入过载模式时,应尽早尽快地将该请求标记为失败。细节见本章后面的“负载抛弃和优雅降级”一节。 上层系统应该主动拒绝请求 注意,由于速率限制实现中一般不会考虑服务整体健康程度的因素,它可能并不能阻止一个已经发生了的连锁故障。简单的速率限制实现很有可能会导致一些容量的浪费。速率限制可以具体在以下位置实现: ● 在反向代理层,通过针对请求的某种特性进行数量限制(如IP地址),来缓解和避免拒绝服务攻击,避免攻击性客户端的影响。 ● 在负载均衡器层,在服务进入全局过载时主动丢弃请求。取决于该服务的实现和复杂度,这种丢弃可能是针对所有请求的(丢弃超过X QPS 的所有请求),或者是有选择性的(丢弃非最近用户发来的请求,或者丢弃低优先级请求,如背景同步请求,但是保留用户交互型请求)。 ● 在每个任务自身,避免负载均衡层的随机扰动导致软件服务器过载。 进行容量规划 好的容量规划可以降低连锁反应发生的可能性。容量规划应该伴随着性能测试进行,以确定可能导致服务失败的负载程度。例如,如果每个集群的临界点是5,000 QPS,服务负载平均分布,[74]而该服务的峰值负载是19,000 QPS,我们则需要大约6个集群来以N+2模式运行该服务。 进行容量规划只能减少触发连锁反应的可能性,但是并不能完全避免。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/SRE:Google运维解密/_epub-src/OEBPS/Text/0009_0013.xhtml
EPUB SHA-256:5bd7e1e6474442d93354f1f13578bcb59c445e0dc7e54fa052cdc95f5f3e439c