知识卡片

普通读书笔记卡 · 5285

截止时间别远超平均延迟

理解等级:高级

前端共 1000 线程,平时 1000 QPS、每请求 100ms,只占 100 个线程。若 5% 请求因后端分区不可用永不返回,截止时间又设 100 秒,它们会占 5000 个线程,前端只能处理约 19.6% 的请求,错误率 80.4%。对策:看延迟分布而非平均值;无法完成的请求尽早报错,启用快速失败;截止时间别比平均延迟高几个数量级;按客户端限制线程占用,如不超过 25%。发散:超时设置决定局部故障能吃掉多少全局资源。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第22章 处理连锁故障 · 查看原书依据

      如果RPC层支持快速失败的选项,一定要启用它。 ● 将截止时间设置得比平均延迟大好几个数量级通常是不好的。在前述例子中,最开始只有一小部分请求超时,但是由于截止时间设置比平均延迟高三个数量级,导致了线程耗尽问题。 ● 当使用按键值空间分布的某种共享资源时,应该考虑按键值分布限制请求数量,或者使用某种滥用跟踪系统。假设你的后端要处理来自不同客户端的性能和特征各异的请求,我们可以考虑限制一个客户端只能占用25% 的线程总数,以便在某个异常客户端大量产生负载的情况下提供一些公平性。

    参考来源

    - 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`) - 结论依据:原文推算 5% 请求永不返回时 100 秒截止时间导致 80.4% 错误率,并给出观察分布、快速失败、合理截止时间与按客户端限额的指导。 - 原始内容:将截止时间设置得比平均延迟大好几个数量级通常是不好的。在前述例子中,最开始只有一小部分请求超时,但是由于截止时间设置比平均延迟高三个数量级,导致了线程耗尽问题。