知识卡片

普通读书笔记卡

数据构造平台的三个核心任务

理解等级:未标注

压测数据是全链路压测体系的核心,关系到影子库中的测试数据如何构造、以及下发给压测引擎的请求参数文件如何组装。早期没有专门的数据构造平台时,测试同学几乎以纯手工方式组装每个目标场景所需的压测参数并保存在文件中——效率极其低下,不仅耗费大量时间人力,还常出现某些特殊参数尚未使用就已过期失效,一旦发生就要重新花费大量时间精力组装;一次大促压测前,几十个待压场景的参数从下午5点组装到半夜11点还未完成,这个真实的痛苦经历直接推动了数据构造平台(数据工厂)的诞生。数据构造平台承担三个核心任务:一是Dump线上数据,经过脱敏、修正等处理后导入数据池——真实用户数据在进入数据池前必须先对敏感信息(如电话、地址)做脱敏和修正;二是负责将测试数据落盘到影子库;三是根据目标场景导出对应的请求参数文件。当需要执行压测时,系统根据具体目标场景把数据池中加工好的测试数据刷进影子库,并同步生成下发给执行引擎所需的压测参数文件。这个案例的价值在于:数据构造平台解决的不是”压测怎么发起流量”这个更显眼的问题,而是”压测所需的海量、多样化、贴近真实的测试数据从哪里高效获取”这个容易被低估但实际耗时最多的前置环节——真正拖慢压测节奏的往往不是压测引擎本身,而是压测数据准备这类看似辅助性的工作。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第2章《大促备战核弹——全链路压测》"2.3.1 数据构造平台"节(源文件:OEBPS/Text/0007.xhtml) - 结论依据:原文说明数据构造平台"的3个核心任务:Dump线上数据,经历脱敏、修正等阶段后导入数据池;负责将测试数据落盘影子库;根据目标场景导出相应的请求参数文件",并以真实案例说明手工组装参数的低效痛点,直接支撑本卡片结论。 - 原始内容:数据构造平台的3个核心任务:Dump线上数据,经历脱敏、修正等阶段后导入数据池;负责将测试数据落盘影子库;根据目标场景导出相应的请求参数文件……我们有几十个待压场景,预计是在凌晨零点开始施压,结果从下午的5点开始,直至半夜11点压测参数都还未完全组装完成。