异常值该删除还是该保留

数据异常常见于格式不统一（同一份数据里日期写成”2017-3-14”和”2017/3/14”两种格式）、录入错误（年龄填200、手机号填13000000000这类不合常理的值，可以用字段间相互印证的方式识别，比如出生年月和身份证号交叉校验）。但异常值不能一律删除：如果异常是业务活动本身导致的真实波动，比如促销活动带来当天活跃数据暴涨，删除这些”异常”反而会让活动效果评估失真——这类异常其实是最有价值的信号，不是噪声。发散：区分”该删的异常”和”该留的异常”的关键在于问一句”这个异常有没有对应的现实业务事件能解释它”，能解释的异常是真实信号，解释不了的才是脏数据。