知识卡片
脏数据的三种典型信号
脏数据很少以“错误”的样子出现,它通常表现为分布的异常形状,需要靠领域知识解读。 第一种是缺失值被编码成合法数值。银行客户年龄直方图在 0 岁与负值处出现巨大峰值,合理解释是录入时无效年龄被填成 0 或 −1、−2;不同系统对空值的约定不同(Null、NA、0、−1),数据在系统间搬运时就被污染。这类记录要么删除,要么用除年龄外最相似记录的取值近似填补。 第二种是档位截断。按揭年份分布里“10 年”异常高,因为这一档实际表示 10 年及以上,系统迁移时丢掉了区分。能不能直接删,取决于分析目的:若历史数据显示违约几乎都发生在第 4 年以前,把 10 年以上当低风险处理可以接受;否则要回溯数据源找回真实起始日期。 第三种是样本覆盖不全。sales 里订单数最少为 1、最低年销售额 30.02 美元,说明它只含过去一年有购买的客户,用它估计人均消费会系统性偏高。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 使用R进行基本数据分析 · 查看原书依据
一种可能的解释是在数据输入过程中,无效年龄被替换成0或者负值。这种情况可能是由于年龄的文本框中只允许输入数字,而不允许输入空值造成的。另外,它也可能是由于在不同系统中传输数据时,这些系统对于无效值有不同定义(比如,Null、NA、0、−1或者−2)造成的。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第3章 使用R进行基本数据分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0013_split_002.html)
- 结论依据:3.2.2 节用年龄分布、按揭年份分布与 sales 的最小订单数三例,分别说明缺失编码、档位截断与样本覆盖不全,并强调用领域知识决定清洗方式。
- 原始内容:一种可能的解释是在数据输入过程中,无效年龄被替换成0或者负值。这种情况可能是由于年龄的文本框中只允许输入数字,而不允许输入空值造成的。另外,它也可能是由于在不同系统中传输数据时,这些系统对于无效值有不同定义(比如,Null、NA、0、−1或者−2)造成的。