知识卡片
队列宜短于线程池
多数服务器用队列加线程池处理请求,队列满才拒绝。排队请求占内存又拉高延迟:队列是线程数 10 倍、每请求 100ms 时,队列满后每请求要 1.1 秒,大半在排队。流量稳定的服务,队列应短于线程池(如 50% 以下),处理不过来就尽早拒绝;Gmail 常用无队列服务器,线程满就把负载转走。突发性强的系统,再按线程数、处理时间和突发频率与幅度计算队列长度。发散:长队列只是把拒绝推迟成超时。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第22章 处理连锁故障 · 查看原书依据
如果队列处于满载状态,每个请求都需要1.1s才能处理完成,大部分时间都消耗在排队过程中。 对一个流量基本稳定的服务来说,队列长度比线程池大小更小会更好(如 50% 或更小)。当服务处理速度无法跟上请求到达速率时,尽早拒绝请求会更好。例如,Gmail 通常使用无队列软件服务器,在线程满的时候转移负载到其他服务器上。而另外一些经常有“突发性”负载的系统,或者请求模式经常变动的软件服务器通常基于线程数量、请求处理时间和突发性流量的频率和大小来计算队列长度。
参考来源
- 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`)
- 结论依据:原文说明队列与线程池模型、排队对延迟的影响(1.1 秒例子),并给出稳定流量与突发流量下的队列长度建议。
- 原始内容:对一个流量基本稳定的服务来说,队列长度比线程池大小更小会更好(如 50% 或更小)。当服务处理速度无法跟上请求到达速率时,尽早拒绝请求会更好。