知识卡片

普通读书笔记卡

为什么线下压测数据不能指导线上容量规划

理解等级:未标注

用户规模较小时,功能测试只需确保系统可靠性即可满足需要;但流量上来后必须重视系统性能,这时企业通常会先在线下环境对子系统、中间件、存储系统做压测来摸底吞吐量。但线下压测结果与线上环境存在天然差异——绝大多数企业的压测环境并不会按照线上环境的机器数量1:1扩容部署,因此线下压测数据基本仅供参考,不能作为线上环境的指导数据,只有直接在线上环境实施压测才是真正可靠的方式。这一点由一次真实事故印证:某次大促备战前夕,基础架构团队要根据压测结果给出核心链路的限流阈值,但负责线下压测的同学没有仔细核对线上和线下环境订单服务的MySQL数据源配置差异(线上环境的maxWait参数设置不合理),且过于乐观地评估了订单服务的容量水位,导致给出的限流阈值严重偏高;活动开始后不久,订单子库的连接资源几乎被耗尽,订单服务中获取不到连接资源的线程长时间”hang”住,部分订单服务瘫痪,上下游逐层影响最终产生雪崩,导致部分用户无法完成交易。这个案例的根因不是”压测没做”,而是”压测环境和线上环境的关键配置参数(连接池的maxWait)存在差异,导致压测得出的容量水位数字看似严谨、实则从一开始就建立在错误的前提上”——这提示任何压测数据的可信度,第一步要核实的不是压测流量够不够大,而是压测环境的关键配置是否与线上真正一致。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第2章《大促备战核弹——全链路压测》"2.1 为什么要在线上实施全链路压测"节(源文件:OEBPS/Text/0007.xhtml) - 结论依据:原文说明"因差异性问题,这样的压测结果数据,与线上还是有较大差距的……只有直接在线上环境实施压测才是唯一的明道",并详述真实事故"负责线下压测的相关同学,由于没有仔细核对线上环境和线下环境订单服务的MySQL数据源配置(线上环境maxWait参数设置不合理),且过于乐观地评估出订单服务的容量水位……最终产生雪崩",直接支撑本卡片结论。 - 原始内容:这样的压测结果数据,与线上还是有较大差距的,毕竟绝大多数企业的压测环境并不会按照线上环境的机器数量1:1扩容部署……由于没有仔细核对线上环境和线下环境订单服务的 MySQL 数据源配置(线上环境maxWait参数设置不合理),且过于乐观地评估出订单服务的容量水位……最终产生雪崩,导致部分用户无法顺利完成交易。