知识卡片

普通读书笔记卡

压测数据隔离:物理隔离与逻辑隔离的权衡

理解等级:未标注

线上写压测的核心难题是避免污染线上数据——某用户订单里突然多出压测产生的10台iPhone X,是不能被用户接受的。压测数据隔离有两种思路:物理隔离(按1:1比例为存储系统扩容出一整套独立的”影子库”)优点明显(彻底隔离、互不干扰),但缺点是大幅增加运维成本,且这些扩容出来的资源在非压测时段完全闲置浪费;对于规模庞大的线上存储系统,全量1:1扩容几乎不现实。因此实践中综合成本因素后更多选择逻辑隔离:对于需要真正落盘的数据(如MySQL),在同一套生产库实例下新建一个影子库来单独存放压测数据,避免定时任务统计收益时把压测数据算进去;对于Redis、消息队列这类中间数据,给每条压测数据统一打上压测标识并设置较短存活时间,让其自动失效清理。逻辑隔离还有一个容易被忽视的细节:压测流量请求的是线上存储系统,底层连接资源的占用和释放必须被重点关注,绝不能压测结束后残留的连接资源仍然占用着、影响正常用户访问——具体做法是让服务启动时不触发数据源的”init-method”属性(避免提前建立不必要的会话连接),真正执行压测时才建立连接,并合理设置连接池的空闲回收相关参数(如minEvictableIdleTimeMillis、timeBetweenEvictionRunsMillis、minIdle),确保压测占用的资源能被快速释放。压测流量如何被正确路由到影子库而非线上库,通常在数据库Proxy层(分库分表中间件)实现,或通过扩展Spring的AbstractRoutingDataSource类、重写determineCurrentLookupKey()方法,检测为压测数据则返回影子库数据源、否则返回线上数据源。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第2章《大促备战核弹——全链路压测》"2.2.4 压测数据的隔离方案"节(源文件:OEBPS/Text/0007.xhtml) - 结论依据:原文说明"我们当初在设计压测数据的隔离方案时,考虑了物理隔离和逻辑隔离2种方案……最终选择了采用逻辑隔离方案来解决线上数据污染问题",并详述影子库设计及"服务启动时避免触发数据源的'init-method'属性……最终要保证的就是快速释放压测资源所占用的线上资源",直接支撑本卡片结论。 - 原始内容:我们当初在设计压测数据的隔离方案时,考虑了物理隔离和逻辑隔离2种方案,前者的优点很明显,但缺点就是增加了运维成本……最终选择了采用逻辑隔离方案来解决线上数据污染问题……服务启动时避免触发数据源的"init-method"属性,当真正执行压测时再建立会话连接。