数据重复的成因与不能去重的场景

数据重复分两种成因：无意重复，来自服务器重复上报、客户端异常，或统计口径不严谨（如按账号ID统计月活，一个人同时用QQ和微信账号会被算成两个）；人为重复，来自容灾备份把同一份数据复制多份后一起拉取分析。大多数分析场景直接去重不影响结论，但当数据被用来做风险监控时不能随意去重——比如同一IP短时间内多次获取短信验证码的重复记录，恰恰暴露了业务被恶意攻击的信号；统计操作次数这类指标本身也不能去重，否则会漏掉真实发生的次数。发散：这提醒了一个容易被忽视的分岔口——同一份数据在”分析用途”和”监控用途”下对”重复”的定义完全相反，前者是噪声要清除，后者是信号要保留。