← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 5281.a.1

队列宜短于线程池

理解等级:中级

多数服务器用队列加线程池处理请求,队列满才拒绝。排队请求占内存又拉高延迟:队列是线程数 10 倍、每请求 100ms 时,队列满后每请求要 1.1 秒,大半在排队。流量稳定的服务,队列应短于线程池(如 50% 以下),处理不过来就尽早拒绝;Gmail 常用无队列服务器,线程满就把负载转走。突发性强的系统,再按线程数、处理时间和突发频率与幅度计算队列长度。发散:长队列只是把拒绝推迟成超时。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第22章 处理连锁故障 · 查看原书依据

      如果队列处于满载状态,每个请求都需要1.1s才能处理完成,大部分时间都消耗在排队过程中。 对一个流量基本稳定的服务来说,队列长度比线程池大小更小会更好(如 50% 或更小)。当服务处理速度无法跟上请求到达速率时,尽早拒绝请求会更好。例如,Gmail 通常使用无队列软件服务器,在线程满的时候转移负载到其他服务器上。而另外一些经常有“突发性”负载的系统,或者请求模式经常变动的软件服务器通常基于线程数量、请求处理时间和突发性流量的频率和大小来计算队列长度。

    参考来源

    - 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`) - 结论依据:原文说明队列与线程池模型、排队对延迟的影响(1.1 秒例子),并给出稳定流量与突发流量下的队列长度建议。 - 原始内容:对一个流量基本稳定的服务来说,队列长度比线程池大小更小会更好(如 50% 或更小)。当服务处理速度无法跟上请求到达速率时,尽早拒绝请求会更好。