知识卡片
多线程模拟并发用户与异步HttpClient的QPS失控问题
压测引擎最初采用同步HttpClient、基于多线程模拟并发用户数的方式对业务系统施压,这与JMeter、Apache AB等常规压测工具的做法一致。但这种方式暴露出一个反直觉的问题:并发用户数和实际QPS之间的关系并不像表面看起来那样直接对应——假设总并发用户数设置为10万,当下游接口处理速度较快时,接入层每秒接收的请求数会远高于并发用户数本身,实际观察到的情况是并发用户数只有10万、但压测时峰值QPS却达到了近100万/s,这严重影响了对流量的准确评估。根因在于”多线程模拟并发用户”这种方式里,每个线程一旦收到响应就会立刻发起下一次请求,当下游响应足够快时,同一个”用户线程”单位时间内实际能发出的请求数会远超预期,导致并发用户数这个参数完全无法准确控制实际产生的QPS。为解决这个问题,重构后的Titan 2.x改用Java 11的异步HttpClient来发起HTTP请求,不再采用多线程模拟多并发用户的方式,并在Agent端做好相应的流量管控,这样一来(抛开上下行带宽等因素)可以做到期望流量与实际流量基本持平。这个案例揭示了一个容易被忽视的压测设计陷阱:压测参数(如并发用户数)本身的直觉含义,和它实际在压测引擎实现细节下产生的效果,可能存在巨大偏差——评估压测结果时不能只信任配置参数的字面数值,还要理解压测工具内部到底是怎么把这个参数转化为实际流量的。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第2章《大促备战核弹——全链路压测》"2.3.2 自研全链路压测军演系统的一些经验分享"节(源文件:OEBPS/Text/0007.xhtml)
- 结论依据:原文说明"假设总并发用户数被设置为10W,当下游接口的处理速度较快时,接入层每秒接收的请求数会远高于此。我们在实际的压测过程中发现,并发用户数虽然只有10W,但压测时,峰值QPS达到了近100w/s",并说明改用异步HttpClient后"可以做到期望流量与实际流量基本持平",直接支撑本卡片结论。
- 原始内容:假设总并发用户数被设置为10W,当下游接口的处理速度较快时,接入层每秒接收的请求数会远高于此。我们在实际的压测过程中发现,并发用户数虽然只有10W,但压测时,峰值QPS达到了近100w/s,影响了我们对流量的评估……不再采用多线程模拟多并发用户的方式发起流量……可以做到期望流量与实际流量基本持平。