知识卡片
截止时间别远超平均延迟
前端共 1000 线程,平时 1000 QPS、每请求 100ms,只占 100 个线程。若 5% 请求因后端分区不可用永不返回,截止时间又设 100 秒,它们会占 5000 个线程,前端只能处理约 19.6% 的请求,错误率 80.4%。对策:看延迟分布而非平均值;无法完成的请求尽早报错,启用快速失败;截止时间别比平均延迟高几个数量级;按客户端限制线程占用,如不超过 25%。发散:超时设置决定局部故障能吃掉多少全局资源。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第22章 处理连锁故障 · 查看原书依据
如果RPC层支持快速失败的选项,一定要启用它。 ● 将截止时间设置得比平均延迟大好几个数量级通常是不好的。在前述例子中,最开始只有一小部分请求超时,但是由于截止时间设置比平均延迟高三个数量级,导致了线程耗尽问题。 ● 当使用按键值空间分布的某种共享资源时,应该考虑按键值分布限制请求数量,或者使用某种滥用跟踪系统。假设你的后端要处理来自不同客户端的性能和特征各异的请求,我们可以考虑限制一个客户端只能占用25% 的线程总数,以便在某个异常客户端大量产生负载的情况下提供一些公平性。
参考来源
- 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`)
- 结论依据:原文推算 5% 请求永不返回时 100 秒截止时间导致 80.4% 错误率,并给出观察分布、快速失败、合理截止时间与按客户端限额的指导。
- 原始内容:将截止时间设置得比平均延迟大好几个数量级通常是不好的。在前述例子中,最开始只有一小部分请求超时,但是由于截止时间设置比平均延迟高三个数量级,导致了线程耗尽问题。