知识卡片

普通读书笔记卡 · 1213.i.1.l

令牌桶能吸收突发

理解等级:中级

漏桶算法:把服务器想成大木桶,水(令牌)以固定速度流入,桶容量是最大处理能力,下方漏孔以固定速度流出;请求先进队列,拿到流出的令牌才能执行,拿不到就等待,队列满则拒绝(“系统繁忙”)。缺点是无法处理突发请求——白天请求多也只能按固定速度处理,即使桶里还有大量令牌。

令牌桶算法(目前绝大多数限流技术所采用):令牌仍以固定速度流入、满了溢出,但只要桶中有足够令牌就可以直接取出,不必以固定速度流出。夜间请求少可积累大量令牌(如 5 万个),早上 9 点突发 3 万请求时可直接拿到令牌执行——请求永远是曲线而非直线,令牌桶在低谷积累、高峰快速释放,实现动态限流,适用性更好。

Nginx 限流示例: - ngx_http_limit_req_module 控制请求速率,如 rate=10r/s(每 100 毫秒 1 个)。单独使用过于死板,无法处理突发; - 加 burst=100 相当于增加一个队列:101 个请求瞬间到达时先处理第 1 个,100 个排队按速率处理,第 102 个直接返回 503;但排在后面的要等很久(第 100 个要等 10 秒); - burst 一般与 nodelay 结合:100 个突发请求立即处理,但队列名额仍每 100 毫秒释放一个——既限制速率又能处理突发; - ngx_http_limit_conn_module 限制连接数:按 $binary_remote_addr 限制同一客户端最大连接数,改为 $server_name 则按服务端限制总连接数。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第02章《第2章 大型互联网架构设计的四大原则》2.1.11 高并发访问限流设计(漏桶算法;令牌桶算法;服务端负载限流)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_2_1.xhtml,来源项目 book-sources) - 结论依据:2.1.11节对比漏桶算法固定速度流出无法应对突发与令牌桶算法可积累令牌应对突发,并以Nginx的limit_req(rate、burst、nodelay)和limit_conn模块说明服务端负载限流的配置思路。 - 原始内容:客户端的请求永远是曲线的,总会有高有低,而不是直线。